컬리, Kafka Connect DB 데이터 연동 시 데이터 누락 방지 전략 공유

컬리 데이터서비스개발팀은 Kafka Connect를 활용해 다양한 DB 데이터를 분석 플랫폼으로 통합하는 파이프라인을 운영 중이다. JDBC 소스 커넥터는 별도의 코딩 없이 JSON 설정만으로 RDBMS 데이터를 Kafka로 전송할 수 있어 반복적인 파이프라인 구성에 유리하다.

하지만 쿼리 기반 방식인 JDBC 소스 커넥터는 로그 기반 CDC(Change Data Capture)와 달리 삭제나 갱신 이벤트를 감지하지 못하거나, 트랜잭션 지연으로 인해 데이터 순서가 어긋나는 데이터 누락 문제가 발생할 수 있다. 특히 긴 트랜잭션이나 네트워크 지연이 있을 때 먼저 적재되어야 할 이벤트가 누락되는 현상이 나타난다.

이러한 문제를 완화하기 위해 컬리는 timestamp.delay.interval.ms 옵션을 활용한다. 이 옵션은 카프카 적재 전 일정 시간 지연을 둠으로써 트랜잭션 미완료 데이터를 제외하고 정합성을 유지한다. 다만 옵션 값이 너무 크면 적재 지연이 증가하므로, 트랜잭션 타임아웃 시간 등 데이터 특성에 맞춰 적재 지연과 누락 사이의 균형을 맞춰 설정해야 한다.