왜 배포하면 효과가 없을까? 타겟 지표에 맞는 ML 모델 학습·평가 설계하기

실서비스 ML에서는 정확도보다 비즈니스 목표와 맞는 지표를 먼저 정해야 한다. 잘못된 지표를 최적화하면 오프라인 성능은 좋아져도 실제 배포 효과는 거의 없을 수 있다.

하이퍼커넥트 AI는 아이템의 여러 속성 중 가장 높은 전환율을 낼 대표 속성(primary attribute) 을 고르는 문제를 다루며, 이를 먼저 supervised learning으로 풀었다가 추천 로직과 유저 분포의 차이 때문에 한계를 확인했다. 이어서 같은 유저 안에서 전환/비전환 속성을 비교하는 user-wise CR ranking, 같은 아이템 안에서 속성을 비교하는 item-wise CR ranking으로 문제를 점점 좁혀 갔지만, 여전히 추천 시스템과 숨은 변수(confounder) 때문에 학습 목표가 흔들릴 수 있었다.

해결의 핵심은 randomized attribute shuffle 데이터였다. 아이템의 속성 후보 중 대표 속성을 랜덤하게 할당해 수집한 데이터로 confounder 영향을 끊고, 최종적으로 item-wise attribute CR ranking을 학습 목표로 삼았다. 모델은 같은 아이템 내에서 전환율이 더 높은 속성을 점수 차이로 학습하며, pairwise 데이터셋과 ranking loss로 최적화된다.

평가에서는 단순한 mean Spearman’s rank correlation coefficient(SRCC) 나 top-1 accuracy 가 실제 비즈니스 임팩트를 잘 반영하지 못한다는 점을 짚었다. 관찰된 전환율 자체가 noisy estimate이고, 아이템마다 전환율 차이의 스케일도 달라서 의미가 왜곡되기 때문이다.

대신 오프라인 평가용으로 relative mean conversion-rate lift 를 정의했다. held-out attribute shuffle 데이터에서 사람이 고른 속성 대비 모델이 고른 속성의 평균 전환율 상승분을 계산해, 배포 시 기대되는 임팩트를 직접 가늠할 수 있게 했다. 또한 Double DQN 방식처럼 데이터를 두 그룹으로 나눠 maximization bias를 줄이며 optimal 성능의 lower bound도 추정했다.

이 방식으로 학습한 모델은 오프라인에서 가장 좋은 성과를 냈고, 이후 대규모 온라인 A/B 테스트에서도 유의미한 mean CR lift 와 핵심 지표 개선을 확인하며 실제 배포까지 성공했다.