마이데이터 플랫폼의 대용량 데이터 처리 개선 사례

카카오페이의 마이데이터 플랫폼은 자산관리 서비스의 급격한 성장으로 인해 기존 시스템의 데이터 처리 한계에 직면했습니다. 특히 신용정보법에 따라 3년간 보관해야 하는 '사용자의 금융 데이터 수집 이력' 규모가 예상보다 빠르게 증가하며 아키텍처 재설계가 필요해졌습니다.

기존 시스템은 세 가지 주요 문제를 안고 있었습니다. 첫째, 높은 **QPS(Queries per second)**로 인해 DB 복제 지연이 발생했고, 카프카를 통한 완충 시도도 데이터 유입량을 따라가지 못해 Kafka Lag이 심화되었습니다. 둘째, 누적되는 데이터로 인한 저장 용량 부족 문제가 예상되었습니다. 셋째, 로그 데이터 급증으로 인해 통계 배치 수행 시간이 길어지며 DB 부하가 가중되었습니다.

이를 해결하기 위해 카카오페이는 다음과 같은 개선책을 도입했습니다.

• 데이터 분산 저장: 서비스 데이터와 이력성 데이터를 분리하고, 이력성 데이터에 대해 애플리케이션 레벨의 **모듈러 샤딩(Modular Sharding)**을 적용하여 부하와 용량을 분산했습니다.
• 데이터 아카이빙: DB 보관 기간을 단축하고, 오래된 데이터는 파일로 옮겨 저장함으로써 DB 용량 문제를 해결했습니다.
• Palsonic 도입: RDB에서 직접 통계를 내던 방식에서 벗어나, 하둡 기반의 내부 시스템인 Palsonic을 활용해 효율적인 통계 계산을 수행하도록 변경했습니다.