당근의 200개 이상 DB를 이전하는 ELT 플랫폼, DT Platform 구축기

당근은 한국, 일본, 캐나다 등 글로벌 서비스 전반에 걸쳐 200개 이상의 DB를 사내 데이터 웨어하우스인 BigQuery로 전송하고 있다. 각 리전과 환경(alpha, prod)마다 전송 주기와 설정이 제각각인 복잡한 구조를 가지고 있다.

기존 ELT 방식은 파이프라인의 설정과 실행 코드가 하나의 레포지토리에 강하게 결합되어 있었다. 새로운 테이블을 추가하거나 설정을 변경할 때마다 매번 **PR(Pull Request)**을 생성해야 했으며, 이는 데이터 가치화 팀의 운영 부담을 높이고 파이프라인 상태를 한눈에 파악하기 어렵게 만들었다.

이러한 문제를 해결하기 위해 당근 데이터 가치화 팀은 사내 ELT 플랫폼인 DT (Data Transfer) Platform을 구축했다. 이를 통해 설정과 코드를 분리하여 운영 효율성을 높이고, 향후 AI 시대의 ELT/ETL 파이프라인 관리까지 대응할 수 있는 기반을 마련했다.