Pinterest, 3-Tower Engagement Co-Train 모델 공개… CTR 1% 상승 및 레이턴시 30ms 달성

Pinterest Ads Lightweight Ranking 팀이 3-Tower Engagement Co-Train 모델을 공개했다. 이 모델은 기존 2-Tower 구조의 빠른 추론 속도를 유지하면서, 사용자 시퀀스와 후보 광고 간의 복잡한 상호작용을 포착하는 Cross Tower와 Inter Module을 추가해 예측 정확도를 높였다.

아키텍처 및 학습 전략

모델은 pCTR, pGCTR30(30초 이상 유효 클릭), pOCTR(외부 클릭)을 동시에 예측한다. Query/Pin 임베딩을 태스크별 세그먼트로 분할하여, CTR은 64차원 2-Tower와 전체 세그먼트를 사용하는 3-Tower를 병행한다. gCTR30과 oCTR은 전체 임베딩을 공유한다.

• Cross Tower: 사용자 시퀀스(organic/ads engagement, search history)와 후보 특징(advertiser ID, GraphSAGE 등) 간 어텐션을 계산한다.
• Inter Module: Query, Pin, Cross 임베딩을 입력받아 Shared-bottom MLP 구조로 최적화하여 레이턴시와 성능의 균형을 맞췄다.
• Co-Train Loss: 메인 3-Tower 손실과 보조 2-Tower 손실의 가중 합으로 학습하며, 메인 CTR에 높은 가중치를 부여한다.

서빙 최적화 및 2-Stage 파이프라인

P99 후보군 200K+ 스코어링이라는 제약 조건 하에서 P99 레이턴시를 200ms 이상에서 약 30ms로 단축했다. 이를 위해 FP32에서 BF16으로 정밀도를 낮추고, Pin 전처리를 오프라인 캐싱으로 이동했다.

서빙 효율을 극대화하기 위해 2-Stage 파이프라인을 도입했다.

1. Stage 1: Co-Train 모델의 2-Tower 헤드 전체 후보를 빠르게 스코어링한다.
2. Stage 2: Utility 상위 40K 후보만 3-Tower 모델로 재스코어링한다.

성과

오프라인 실험에서 3-Tower 모델의 손실은 기존 프로덕션 대비 약 30% 감소했다. 온라인 A/B 테스트 결과, CTR, gCTR30, oCTR이 약 1% 상승하고 CPC는 약 1% 감소했다. GPU 지출은 소폭 증가했으나, 예측 CTR과 실제 CTR의 괴리를 줄여 광고 효율을 개선했다.