카카오, 카프카 커넥트 기반 ETL 플랫폼 '제네시스' 운영 사례 및 관리 도구 오픈소스 공개

카카오 광고추천팀은 기존 로그스태시 기반 파이프라인의 오너십 부재, 모니터링 어려움, 배포 비효율성 등의 문제를 해결하기 위해 카프카 커넥트 기반 데이터 플랫폼 '제네시스'를 개발했습니다. 제네시스는 오너십 지정, 개별 및 전체 처리량 모니터링, 웹 기반 배포, 데이터 리니지 관리를 핵심 목표로 하며, 공용 카프카 클러스터와 용도별 커넥트 클러스터, JMX exporter/Burrow, 그리고 Vue.js 기반 관리 웹(genesis-web)으로 구성됩니다. 운영 과정에서 파이프라인 관리를 위해 자체 개발한 웹 도구를 'kafka-connect-web'이라는 이름으로 깃허브에 오픈소스로 공개했습니다. 또한, 커스텀 커넥터 개발 시 체크리스트(오픈소스 유무, 카프카 토픽 입출력 여부, 상태 비저장 처리 여부 등)와 클러스터 분리 운영의 중요성을 강조했으며, 향후 데이터 디스커버리, 상태 기반 프로세싱, SQL 기반 프로세싱, 데이터 리니지 고도화 등을 추진할 계획입니다.