컬리, BigQuery 도입으로 데이터 파이프라인 처리 속도 13초로 단축

컬리가 BigQuery 도입을 통해 데이터 파이프라인 아키텍처를 재설계하고 성능 및 비용을 대폭 개선했다. 구조화된 데이터와 비구조화된 데이터를 각각 처리하는 파이프라인을 구축했으며, AWS DMS와 Kafka를 활용해 변경 로그를 수집한다.

기존 Data Warehouse의 UPSERT 방식은 스크립트 기반이라 처리 속도가 느리고 데이터 동기화 지연이 발생했다. 반면 BigQuery의 Merge 문법을 활용하여 Insert, Update, Delete를 스크립트 없이 처리함으로써 로딩 시간을 기존 30분 이상에서 13초로 단축했다.

비용 절감을 위해 프로젝트별 특성에 맞는 과금 전략을 적용했다. 스캔 용량이 큰 프로젝트에는 Reserved Slots를 예약하고, 스캔 용량이 작은 프로젝트는 일일 스캔 용량을 제한하는 방식으로 기존 고정 비용 모델보다 비용을 크게 줄였다. 또한 파티셔닝을 필수화하여 쿼리 응답 시간을 최적화했다.

이번 도입은 e-Commerce 업계 최초 사례로, 초기 설계부터 데이터 이관까지 총 6개월이 소요되었다. 컬리 데이터플랫폼팀은 이를 통해 운영 로그 등 대용량 데이터 저장의 유연성을 확보했다.