카카오, 약 300개 CDC 파이프라인 정합성 검사 Spark 잡 설계 공개

카카오는 약 300개 CDC 파이프라인의 데이터 정합성을 검증하기 위해 Scala 기반의 Spark 잡을 개발했습니다. 이 시스템은 잡 실패 시 전체 영향도를 줄이기 위해 테이블 단위로 JSON을 제출하며, Reader, Translator, Comparator, Reporter의 4단계 모듈로 구성됩니다. 각 컴포넌트는 추상 클래스와 하위 클래스 상속을 통해 확장성을 확보했으며, 팩토리, 템플릿 메서드, 전략, 싱글톤 등 다양한 디자인 패턴을 적용해 유연한 구조를 구현했습니다. 또한 scalafmt와 scalafix를 활용한 자동화 도구로 코드 스타일의 일관성을 유지합니다.