Spotify, Bayesian A/B 테스트는 단일한 방법 아냐… 기본 설정은 빈번주의와 수치적으로 동일

Spotify는 Bayesian 추론이 stopping rule, prior, likelihood에 따라 정의되는 다양한 구성의 집합임을 강조한다. 대부분의 플랫폼에서 기본값으로 사용되는 flat prior와 posterior probability threshold에 따른 중단은 빈번주의의 peeking과 같은 false positive rate를 재현한다. 또한 flat prior와 two-group normal model에서는 Bayesian과 빈번주의 절차가 수치적으로 동일한 결과를 낸다. Bayesian의 잠재적 이점인 Empirical Bayes prior를 통한 shrinkage와 false discovery rate 제어는 잘 보정된 historical prior를 요구하며, prior가 잘못되면 성능이 저하될 수 있다. 따라서 Bayesian 도입은 단순한 통계 기법 변경이 아닌, prior 관리와 유지보수 비용을 수반하는 복잡한 결정이며, 기본 설정만으로는 빈번주의 대비 실질적인 우월성이 없을 수 있음을 시사한다.