뱅크샐러드, 데이터 분석가가 직접 API 구축하는 'dataserving' 플랫폼 개발

뱅크샐러드는 S3, Airflow, Spark 기반 데이터 파이프라인으로 매일 수백 종의 분석을 수행하며, 이를 '새소식'이나 '사용자 분석 태그' 등 제품 기능에 활용하고 있다. 그러나 기존에는 분석 데이터를 프로덕션에 투입할 때마다 매번 다른 아키텍처를 설계해야 했고, 서버 엔지니어의 기여가 필수적이었다.

이 문제를 해결하기 위해 뱅크샐러드는 분석 테이블을 프로덕션 API로 만드는 플랫폼 dataserving을 개발했다. 데이터 분석가는 서버 엔지니어의 최소 도움만으로 protobuf를 이용해 명세를 정의하고, 조건 조합 filter 기능을 갖춘 API를 직접 구축할 수 있다. 백엔드에는 대규모 성능과 유연한 JSON 문서 모델을 제공하는 Amazon DocumentDB를 채택했다.

dataserving의 첫 번째 고객은 마이데이터 금융상품과 혜택을 탐색하는 '금융쇼핑'이다. 데이터 분석가가 직접 파이프라인 개발과 명세 정의를 수행하여 서버 엔지니어 없이 제품을 출시했다. 이후 '내 자산 순위', '고수들의 투자 전략', '보험 진단' 등 다양한 데이터 제품이 이 플랫폼 기반으로 만들어졌다.

현재 dataserving은 배치 데이터 서빙을 넘어 접근 제어, 실시간성 확보, 유저 이벤트 스트림 처리 등 복잡한 요구사항을 수용하도록 개선되고 있다. 이를 통해 분석 데이터의 안정성과 운영 효율을 높이며 더 다양한 데이터 제품 출시를 지원한다.