뱅크샐러드, 데이터 분석가 직접 파이프라인 개발·운영하는 'datapipe' 도입

뱅크샐러드는 기존 데이터 엔지니어 중심의 파이프라인 운영 구조에서 발생하는 병목 현상을 해결하기 위해 데이터 사용자가 직접 정의, 배포, 관리할 수 있는 내부 도구 datapipe를 개발하고 사내 출시했다.

핵심 아키텍처 및 기능

• 추상화된 개발 환경: 데이터 사용자는 테이블 명세, 의존성, 적재 로직 등 데이터 처리 로직에만 집중할 수 있다. EMR 클러스터 구성, Airflow DAG 설정, MySQL 드라이버 인자 등 복잡한 인프라 코드는 datapipe가 추상화하여 숨겼다.
• 자체 배포 및 권한 관리: 쿠버네티스 리소스 업데이트 대신 Airflow Scheduler에 DAG를 sync하는 방식으로 구현되어 사용자가 직접 배포할 수 있다. Fusion Auth와 연동된 Airflow Web UI를 통해 사용자별 DAG 조작 권한을 세밀하게 제어한다.
• 자동화된 테스트 환경: PR 생성 시 프로덕션과 동일한 환경의 테스트 서버(Scheduler, Web Server, Namespace)가 자동으로 배포된다. 데이터 출력은 별도 Namespace로 격리되어 프로덕션 데이터 오염을 방지하며, pytest 기반 유닛 테스트와 함께 정합성을 검증한다.
• 데이터 퀄리티 관리: 테이블 메타데이터에 fail_conditions(기준 미달 시 적재 실패)와 dq_metrics(리포트 생성) 속성을 설정하여 데이터 결함이나 중복을 사전에 차단한다. 설정된 퀄리티 지표는 매일 Slack으로 리포트된다.

성과 및 시사점

• datapipe 도입 후 데이터 엔지니어가 아닌 직군(제품팀 데이터 분석가 등)의 파이프라인 개발 및 운영 사례가 연간 600건으로, 이전 대비 6배 이상 증가했다.
• 데이터 엔지니어는 코어 파이프라인 및 인프라 문제에 집중하고, 제품팀은 각자의 지표와 데이터 제품을 직접 운영함으로써 개발 속도와 유연성이 향상되었다.
• 향후 과제는 인프라 직접 관리 없이 더 간단한 파이프라인 구축과 인프라 비용 절감 방안 마련이다.