상품 데이터 파이프라인 구축을 위한 Debezium MSK Connect 활용기

상품스쿼드는 기존 모놀리식 시스템을 MSA로 전환하며 데이터베이스 마이그레이션과 동기화 문제를 해결하기 위해 Debezium CDC를 도입했다. 주요 목표는 다양한 데이터베이스 간의 유연한 동기화, 데이터 흐름 파이프라인 구성, 그리고 데이터 변경 내역의 효율적인 트래킹이다.

Debezium은 DB 트랜잭션 로그를 활용해 데이터 변경 사항을 실시간으로 캡처하는 오픈소스 CDC 도구다. 상품스쿼드는 AWS MSK Connect에 Debezium Source Connector를 구성하고, 처리된 데이터를 활용하기 위해 별도의 Consumer 서버를 구축하는 아키텍처를 채택했다.

DB 설정 시 Oracle의 경우 Logminer 방식을 사용했다. Xstream 방식은 성능 면에서 유리할 수 있으나, 라이선스 비용이 높고 MSK Connect와 같은 매니지드 서비스에서는 라이브러리 업로드가 불가능한 제약이 있다. MySQL의 경우 binlog를 활성화하여 CDC를 구현한다.