뱅크샐러드, 실험 분석 인프라 V2 공개… 자동화 파이프라인으로 신뢰성·확장성 확보

뱅크샐러드 실험플랫폼 팀은 제품 개선의 영향을 정량적으로 검증하기 위해 실험 분석 인프라를 구축했다. 초기 V1 단계에서는 Python Notebook 기반의 수동 분석을 수행했으나, 실험 수 증가에 따라 인적 오류 발생, 유지보수 어려움, 리소스 비효율 등 문제가 발생했다.

이를 해결하기 위해 개발된 V2 자동 실험 분석 파이프라인은 Metric Configuration, Data Preparation, Metric Calculation의 세 가지 핵심 요소로 구성된다. 이 파이프라인은 실험 결과 데이터를 자동으로 수집, 계산, 적재하며, Two-sample z-test를 활용해 통계적 유의성을 검증한다.

Metric Calculation 단계는 재사용성과 유연성을 고려해 Experiment Event, Subject-level Aggregated, Metric-level Aggregated, Experiment Analysis Result의 4단계로 분리되었다. 각 단계는 독립적으로 진행되어 분석 효율을 높이고, 최종 결과는 AWS S3에 적재된 후 실험 플랫폼 UI를 통해 배포(Rollout) 또는 롤백(Rollback) 의사결정에 활용된다.

자동화 인프라 도입으로 Data Scientist의 반복 작업 부담이 줄어들고, 팀원 누구나 UI를 통해 신뢰할 수 있는 실험 결과를 쉽게 확인하게 되었다. 이는 데이터 기반 의사결정 문화를 성숙시키는 데 기여했으며, 향후 검정력(Power) 강화와 복잡한 지표 지원 등 고도화를 지속할 계획이다.