뱅크샐러드, 데이터 접근성 높이는 'Data Discovery Platform' 구축

뱅크샐러드 데이터 파운데이션 팀은 전 구성원이 데이터 기반 인사이트를 쉽게 도출할 수 있도록 Data Discovery Platform을 구축하고 배포했다. 기존에는 복잡한 SQL 작성과 테이블 맥락 파악, 데이터 동기화 등 비효율적인 프로세스가 분석의 주요 장벽으로 작용했다.

플랫폼 선정 및 아키텍처

팀 내부 투표를 통해 DataHub를 최종 플랫폼으로 선정했다. DataHub는 UI가 직관적이고 사용성이 높아 개발 외 직군도 쉽게 접근할 수 있다는 점이 강점으로 꼽혔다. 아키텍처는 Airflow DAG을 통해 MySQL, AWS Glue 등 다양한 소스의 메타데이터를 수집하고, 이를 DataHub Serving 단계에서 섭취하는 구조로 설계되었다.

주요 기능 및 기대 효과

플랫폼은 분석 환경 내 모든 테이블의 최신 명세와 통계 정보를 제공한다. 사용자는 쿼리 실행 없이도 SQL Profile 기능을 통해 컬럼 통계와 샘플 데이터를 즉시 확인할 수 있다. 또한 Lineage 기능을 통해 테이블 생성 과정과 파이프라인 연결 관계를 시각적으로 추적할 수 있어, 금융 데이터의 신뢰성과 투명성을 높이는 데 기여한다.