토스, DW 파이프라인 '뉴타운'으로 이관… dbt 도입으로 DAG 코드 96% 감축

구조 개편과 Strangler Fig 패턴 적용

토스 Data Warehouse 팀은 중앙 DW Airflow의 병목과 관리 어려움을 해결하기 위해 도메인별 클러스터와 dbt 기반의 새 플랫폼 '뉴타운'을 구축했습니다. 기존 시스템과 병행 운영하며 검증하는 Strangler Fig 방식을 채택해, 마이그레이션 중 기존 배치 중단 없이 안정적으로 전환을 진행했습니다.

dbt 도입으로 코드 간결화 및 의존성 자동화

변환 로직을 Impala 쿼리에서 dbt 모델로 옮기면서, Cosmos를 활용해 의존성을 자동으로 관리했습니다. 그 결과 광고 도메인의 DAG 코드는 2,794줄에서 100줄로, 수동 의존성 연결 코드(>>)는 180줄에서 0줄로 대폭 줄었습니다. 파이프라인 실행 시간도 4시간에서 2시간 30분으로 단축되었습니다.

AI 에이전트 친화적 문맥 구축

구조화된 문맥(스킬)의 중요성을 강조하며, 모델 yml에 지표 정의를 추가하고 시맨틱 레이어를 적용했습니다. 팀 해커톤 결과 지표 정의를 지식베이스에 포함했을 때 테이블 선택 정확도는 25%에서 75%로 상승했으며, 시맨틱 레이어를 통해 MetricFlow로 SQL을 생성·실행하게 한 경우 계산 질문 정답률은 82%를 기록했습니다.