카카오, CDC 정합성 검사 Spark 잡 최적화 전략 공개

카카오 데이터분석플랫폼팀이 CDC 파이프라인의 정합성 검사를 수행하는 Spark 잡의 최적화 전략을 공개했습니다. 매일 약 300개 이상의 테이블과 최대 수억 건의 데이터를 처리하기 위해, MySQL에서는 Fullscan, Keybased, Limit 모드로 나누어 JDBC 커넥션 부하와 병렬 처리 수준을 균형 있게 조정했습니다. 특히 Keybased 모드에서는 변화된 PK만 추출하여 쿼리 효율을 높이고 coalesce로 파티션을 압축했습니다. Iceberg의 경우 인덱스 부재로 인한 전체 스캔 특성을 고려해 Compaction 및 스냅샷 만료 작업을 주기적으로 수행했습니다. 또한 Lazy Evaluation으로 인한 중복 연산을 방지하기 위해 Cache를 적극 활용하고, 보안존 등 제한된 환경에서는 로컬 모드로 실행하며 브로드캐스트 조인을 비활성화하는 등 운영 환경에 맞춘 세부 튜닝을 적용했습니다.