격차를 좁히다: Pinterest L1 전환 모델의 온라인-오프라인 괴리 진단

Pinterest의 L1 ranking 단계에서 새 conversion(CVR) 모델은 오프라인에서는 꾸준히 이겼지만, 온라인 A/B에서는 CPA가 중립적이거나 악화되는 경우가 반복됐다. 저자들은 이를 Online–Offline(O/O) discrepancy로 정의하고, 단일 버그가 아니라 모델·서빙·퍼널 전반을 함께 보는 방식으로 원인을 추적했다.

먼저 오프라인 평가 자체는 문제 없었다. LogMAE와 calibration을 세 가지 로그 소스(auction winners, full-request auction candidates, partial-request auction candidates)에서 다시 계산했고, pCVR 퍼센타일별로도 비교했는데, 실험 모델은 모든 데이터셋에서 프로덕션 모델보다 큰 폭으로 log-loss가 낮았고 각 구간에서 성능이 유지되거나 개선됐다. 즉, 오프라인 개선은 실제였고 평가 버그만으로는 온라인 부진을 설명할 수 없었다.

노출 편향과 트래픽 점유율도 핵심 원인은 아니었다. treatment 비중을 약 **20%에서 70%**까지 올리는 ramp 실험을 했지만, treatment가 더 많은 트래픽을 가져도 over-calibration 문제는 계속 남았다. 또한 query tower와 Pin tower의 timeout과 p50/p90/p99 latency도 control 대비 크게 나쁘지 않아, serving failure 역시 주된 설명이 되지 않았다.

진짜 문제는 features와 embeddings의 불일치였다.

• Feature O/O discrepancy: 학습과 오프라인 평가는 rich logged features를 사용했지만, 온라인의 L1 embedding builder에는 일부 고가치 Pin feature가 아예 들어가지 않았다.
• 빠진 예시: targeting spec flags, offsite conversion visit counts(1/7/30/90 days), annotations, MediaSage image embeddings.
• 결과적으로 모델은 학습 때는 이 신호들에 의존하도록 배웠지만, 서빙 시점에는 더 얇은 feature set으로만 동작했다.

이를 해결하기 위해 UFR config를 수정해 누락된 feature를 L1 embedding 경로에 온보딩했고, 온라인 feature coverage가 회복되면서 CVR와 engagement 모델의 온라인 loss도 개선됐다. 동시에 UFR 툴의 기본 동작도 바꿔, L2에 온보딩된 feature가 L1 embedding 사용 후보로 자동 고려되도록 해 silent O/O 문제를 줄였다.

두 번째 문제는 embedding version skew였다. two-tower 구조에서는 query tower와 Pin tower가 같은 체크포인트를 쓰지 않을 수 있는데, 온라인에서는 hourly indexing snapshot, 별도 rollout, 긴 index build/deploy 주기 때문에 서로 다른 버전의 embedding이 한 index 안에 공존한다. 고정된 query tower에 대해 Pin embedding 버전을 바꿔가며 실험한 결과, 단순한 모델은 영향이 제한적이었지만 DHEN 같은 복잡한 모델은 skew가 커질수록 일부 slice에서 loss가 눈에 띄게 나빠졌다.

이후에는 완전한 제거보다 운영 제약으로 받아들였다. 큰 tier에서는 batch embedding inference로 단일 버전의 embedding을 만들고, 새 모델 패밀리는 반드시 version-skew 민감도 검사를 통과해야 하도록 했다.

마지막으로, 예측이 좋아도 전체 시스템이 이를 CPA 개선으로 바꾸지 못할 수 있다는 점도 확인했다. retrieval, L1 ranking, L2 ranking, auction은 서로 다른 목적과 제약을 갖고 있고, L1 지표가 좋아져도 retrieval recall이나 ranking recall이 함께 움직이지 않으면 end-to-end 성과는 바뀌지 않는다. 실제로 일부 surface에서는 L1 offline 지표가 개선돼도 recall이 이미 ceiling에 가까워 온라인 효과가 없었고, 반대로 recall이 실제로 움직인 treatment만 명확한 온라인 승리를 만들었다.

또한 오프라인의 LogMAE, KL, calibration과 온라인의 CPA는 아예 다른 세계라는 점도 정리했다. 오프라인은 L2 prediction을 teacher label처럼 쓰는 경우가 많지만, 온라인 CPA는 bid, budget, pacing, auction logic의 영향을 받는다. downstream utility로 후보를 더 잘 공급해도 실제 auction 행동을 거치면 기대한 CPA 개선이 사라질 수 있어, 오프라인 지표는 필요조건일 뿐 충분조건이 아니다.

결국 이 작업의 결론은 분명하다. model, embeddings, feature pipelines는 하나의 시스템으로 봐야 하고, funnel이 ceiling을 결정하며, debuggability 자체가 모델 제품의 일부다. coverage dashboard, embedding skew test, parity harness 같은 도구를 launch 과정에 기본 내장해야만, 앞으로의 L1 실험이 오프라인과 온라인 사이에서 덜 흔들리고 실제 비즈니스 성과로 이어질 수 있다.