Multiple Treatments를 통한 Uplift Modeling 기반 마케팅 비용 최적화

마케팅 비용 최적화의 핵심은 누구에게 얼마를 줄지를 정하는 것이다. 마케팅이 없어도 전환할 사용자는 제외하고, 프로모션에 반응할 가능성이 큰 사용자에게만 비용을 쓰는 문제를 uplift modeling으로 정의했다. 여기서는 이를 CATE 관점으로 설명하고, 금액을 1000원과 2000원처럼 여러 단계로 나누는 Multiple Treatments 문제로 확장했다.

사용자군은 크게 네 가지로 나뉜다.

• Sure things: 마케팅과 무관하게 전환하는 고객
• Persuadables: 마케팅으로 전환 확률이 올라가는 고객
• Lost causes: 마케팅과 무관하게 전환하지 않는 고객
• Sleeping dogs: 마케팅이 오히려 역효과를 내는 고객

실제 모델 학습을 위해서는 randomization된 interventional data가 필요했다. 치료금액을 무작위로 배정해 outcome을 수집하면, treatment와 outcome에 동시에 영향을 주는 confounding을 줄일 수 있고, 관측 데이터에서 생기는 편향을 사전에 제거할 수 있다. 같은 맥락에서, 먼저 작은 금액과 큰 금액을 모두 시험해 보면 어떤 treatment가 더 효율적인지도 초기 단계에서 확인할 수 있다.

모델은 여러 CATE 추정 방법 중 Double Machine Learning(DML) 을 선택했다. DML은 confounder로부터 outcome과 treatment를 각각 예측한 뒤 residual을 사용해 인과효과를 추정하는 방식이며, orthogonalization과 cross-fitting을 통해 편향을 줄이고 과적합을 완화한다. 저자는 treatment와 outcome이 continuous이든 categorical이든 다룰 수 있고, Multiple Treatments까지 처리 가능한 범용성을 선택 이유로 들었다.

인과추정의 가장 큰 차이는 정답을 직접 관측할 수 없다는 점이다. 한 사용자는 treatment를 받았거나 받지 않았거나 둘 중 하나만 경험하므로, counterfactual을 직접 볼 수 없다. 그래서 모델은 실제 outcome뿐 아니라 반대 상황의 outcome까지 함께 추정해야 하며, binary treatment에서는 CATE = E[Y(T=1) - Y(T=0) | X] 형태로 정의된다. Multiple treatments에서는 각 treatment별 score를 계산한 뒤 treatment=0 대비 차이로 CATE를 구했다.

평가는 AUUC를 사용했다. Area Under Uplift Curve(AUUC) 는 ROC-AUC처럼 점수 임계값을 바꾸며 uplift를 계산하는 방식으로, control 그룹과의 차이를 통해 모델의 상대적 성능을 확인한다. 정답 CATE를 직접 알 수 없는 상황에서, 랜덤 모델이나 다른 모델보다 얼마나 나은지 보는 offline 지표로 활용했다.

정책 생성 단계에서는 단순히 CATE가 가장 큰 treatment를 고르는 데서 끝내지 않았다. 큰 금액이 항상 더 좋은 것은 아니므로, CATE gap이라는 휴리스틱을 적용해 큰 treatment와 작은 treatment의 CATE 차이를 계산했다. 같은 높은 효과를 보이더라도, 작은 금액으로도 충분히 반응할 수 있는 사용자보다 더 큰 금액이 필요한 사용자에게 큰 treatment를 배정하는 식으로 예산 효율을 높였다.

온라인 A/B 테스트에서는 Cost Per Acquisition(CPA) 를 핵심 KPI로 사용했다. control 그룹은 프로모션 금액을 랜덤으로 제공했고, treatment 그룹과 control 그룹의 CPA를 비교해 모델이 적용되지 않았을 때보다 비용이 얼마나 줄었는지 확인했다. 예시 계산에서는 treatment 그룹 CPA가 1,429원, control 그룹 CPA가 1,643원으로, 사용자 1명당 214원 절감 효과를 확인했다.

결국 성패를 가르는 것은 모델 복잡도보다 confounder를 얼마나 잘 선정했는가였다. 의미 있는 confounder가 빠지면 causal inference 모델도 일반 ML과 크게 다르지 않다. 마케팅 비용 최적화는 단순 예측 문제가 아니라, 실험 설계, 인과추정, 정책화, 온라인 검증까지 이어지는 end-to-end 문제로 다뤄야 한다.