카카오페이가 자체 AB 테스트 서비스를 개발한 이유

기업이 신규 서비스를 출시할 때 유저의 반응을 정확히 예측하는 것은 어렵다. AB 테스트는 유저의 행동을 관찰하여 Wow Point와 Pain Point를 파악하고, 데이터에 기반한 의사결정을 통해 비용을 절감하는 핵심적인 과정이다.

카카오페이는 초기 실험을 위해 오픈소스인 Wasabi를 활용했으나, 전사적 확산에는 한계가 있었다. 회사 데이터와의 연동이 어렵고, 특정 디바이스나 유저의 구매 실적 등 세밀한 조건으로 실험 대상을 설정하는 맞춤형 실험이 불가능했기 때문이다.

이를 해결하기 위해 카카오페이는 다음과 같은 핵심 요구사항을 반영한 자체 서비스를 개발했다.

• 유연한 유저 구분: ANTLR를 활용하여 디바이스 정보, 앱 버전, 유저 데모그래픽 등 다양한 조건으로 실험 대상을 정교하게 타겟팅할 수 있도록 설계했다.
• 장애 대응 체계: 서버 장애 시에도 안정적인 서비스를 제공하기 위해 Fallback 버켓을 도입하여, 문제 발생 시 유저가 기존의 안정적인 화면을 볼 수 있도록 했다.
• 통계적 분석: 실험 데이터를 바탕으로 성과가 좋은 **위너 버켓(Winner Bucket)**을 선정할 수 있는 환경을 구축하고자 했다.