카카오, if(kakaoAI)2024서 데이터 처리 및 운영 기술 세션 공개

카카오가 if(kakaoAI)2024 컨퍼런스에서 'Data'를 주제로 한 9개의 기술 세션을 공개했다. 이번 세션에서는 카카오가 실제 서비스에서 다루는 대용량 데이터 처리 기술과 데이터베이스 운영 시 발생한 고민 및 해결 사례를 공유한다.

주요 세션 내용

DAY1(10월 22일)과 DAY3(10월 24일)에 걸쳐 다양한 주제가 발표된다. 주요 내용은 다음과 같다.

• AI 기반 광고 추천: 스파크 스트리밍을 활용한 실시간 데이터 처리 파이프라인 아키텍처와 모니터링 전략을 소개한다.
• MongoDB 자동 업그레이드: 사내 대규모 MongoDB를 편리하게 업그레이드하고 운영 비용을 절감한 플랫폼 'MUA' 구축 사례를 공유한다.
• 카프카 Kraft 운영: 주키퍼 없이 Kafka Raft(Kraft)를 지원하는 카프카의 실전 운영 노하우와 구축 단계를 다룬다.
• 대용량 데이터 동기화: '싱크버스' 프로젝트를 통해 수십억 건의 데이터를 MySQL에서 Iceberg까지 실시간 연동한 CDC 시스템 구축기를 소개한다.
• 실시간 유저 활동 데이터 서빙: 'ActionBase' 시스템을 통해 클릭, 좋아요 등 유저 활동 데이터를 실시간 저장 및 서빙하며 성능을 최적화한 사례를 공유한다.
• MySQL DB 샤딩: 빌링 시스템의 결제 건수 증가와 성능 문제를 해결하기 위해 PK 기반 샤딩을 도입한 과정을 설명한다.
• 선물하기 캐싱 전략: Hybrid Cache, Auto Cache Warm Up 등 대량 트래픽을 견디기 위한 캐싱 전략과 구현 시 직면한 문제를 다룬다.
• 게임 데이터 분석: MMORPG 유저 이탈 방지를 위한 통계 기반 프로젝트(SMART STATS)와 SQL 스키마를 모르는 사용자도 쉽게 접근할 수 있는 게임 데이터 검색 시스템 구축기를 소개한다.