Netflix, 개인화 추천 가치 정량화… 타겟팅 효과가 노출보다 3배 크다

Netflix, 개인화 추천의 인과적 가치 정량화

Netflix 연구진이 대규모 행동 모델링과 소규모 A/B 테스트를 결합한 하이브리드 접근법을 개발해 개인화 추천의 인과적 영향을 측정했다. 이 연구는 International Journal of Industrial Organization에 게재됐으며 ACM EC '26에서 발표됐다.

모델링 및 검증

• 동적 선호도 모델링: 시청을 일 단위 프로세스로 간주하고, 저계수 분해(low-rank factorization)를 활용해 회원의 동적 선호도와 타이틀 유사성을 포착하는 모델을 도입했다.
• 실험적 검증: 추천 노출을 무작위로 변경하는 실험을 통해 모델의 반사실적(counterfactual) 예측을 검증했다. 모델이 예측한 대체 패턴은 실험 결과와 높은 상관관계(0.86)와 결정계수(R-squared 0.73)를 보였다.

성과 분석

검증된 프레임워크를 통해 현재 개인화 시스템을 랜덤, 인기 기반, 행렬 분해 추천 등 기준선(baseline)과 비교한 결과, 현재 시스템이 훨씬 높은 참여율과 소비 다양성을 창출하는 것으로 나타났다.

영향력 분해

추천의 영향을 노출(exposure), 선택(selection), 타겟팅(targeting) 효과로 분해했다.

• 노출 효과: 소비 확률을 높이지만, 현재 추천 시스템과 기준선 간 격차의 약 7%만 차지한다.
• 타겟팅 효과: 노출 효과보다 약 3배 더 큰 영향을 미치며, 가치의 대부분을 차지한다.
• 타이틀별 차이: 타겟팅 효과는 중위권 인기 타이틀에서 가장 강하게 나타나며, 개인화가 특정 타이틀과 회원 취향을 효과적으로 연결한다. 반면 노출 효과는 전체 카탈로그에서 균일하게 나타난다.