Flink CDC와 Apache Iceberg 통합 심층 분석: 분할 테이블 처리와 커밋 충돌 대응

팀이 Kafka Connect를 우회해 메시지 오버헤드를 줄이고, Flink CDC로 MySQL 변경 데이터를 Apache Iceberg에 직접 적재하는 파이프라인을 구축했다. 안정성과 실시간 가용성 균형을 위해 format-version 2, 10분 체크포인트 간격의 UPSERT 모드를 적용했다. 분할된 MySQL 테이블은 'identity' 컬럼으로 샤드를 구분하고 버킷 분할을 적용해 단일 Iceberg 테이블로 통합했다. 32개 테이블(27억 행) 통합 시 평균 소싱 시간이 270초로, 9000만 행 테이블의 20초 대비 32개 개별 작업보다 효율적이었다. 여러 Flink 작업이 동일 테이블에 쓸 때 베이스 메타데이터 변경으로 커밋 충돌이 발생했으며, 재시도 횟수 증가로는 안정성을 확보할 수 없어 작업 중단 유발 기능을 배제했다. 소형 파일 관리를 위해 컴팩션이 필수적이었는데, 이를 적용하지 않으면 30억 행 테이블 쿼리 시간이 2.8분에서 1주 내 60분으로 증가했으나 컴팩션으로 1.7분까지 단축됐다.