Oracle에서 MongoDB로의 CDC 파이프라인 구축

카카오페이증권은 MSA 확장에 따라 분산된 데이터를 효율적으로 활용하기 위해 Kafka를 중심으로 한 CDC(Change Data Capture) 파이프라인 구축을 추진했다. 이번 프로젝트의 핵심은 사용자 데이터의 실시간 분석을 위해 Oracle에서 MongoDB로 데이터를 전송하는 파이프라인을 만드는 것이다.

아키텍처는 다음과 같이 구성했다.

• Oracle과 Kafka Cluster는 IDC 물리 서버에 배치했다.
• MongoDB는 이번 구축을 위해 별도의 물리 서버에 구성했다.
• Kafka Connect는 부하 급증에 유연하게 대처하기 위해 Kubernetes 환경에 구축하고 Helm으로 관리했다.

데이터 소스 커넥터로는 Debezium을, 싱크 커넥터로는 MongoDB Sink Connector를 사용했다. 하지만 MongoDB Sink Connector의 CDC Handler가 현재 MySQL이나 PostgreSQL은 지원하지만 Oracle은 지원하지 않는다는 기술적 제약이 있었다.

이를 해결하기 위해 Debezium CDC Handler의 소스 코드를 분석하여, 기존 지원되는 DBMS 핸들러처럼 Oracle을 위한 커스텀 핸들러를 직접 구현하는 방안을 검토했다.