Pinterest, 사용자 여정 추론에 4B LLM 도입… 기존 클러스터링은 폴백으로 유지

Pinterest가 사용자 여정 추론을 위해 다단계 클러스터링 파이프라인에서 생성형 LLM 시스템으로 전환했다. 기존 관심사 기반 클러스터링과 달리, 이 접근법은 '여름 드레스' 같은 단편적 주제가 아닌 '여름 웨딩 스타일 파악'처럼 수 주에서 수개월에 걸친 일관된 목표를 식별한다. 시스템은 시계열 활동 로그를 읽고 엄격한 JSON 형식으로 여정 이름을 순위화하는 4B 파라미터 LLM(구체적으로 Qwen3 학생 모델)을 사용한다. 기존 클러스터링 시스템은 폴백으로 유지된다.

아키텍처 및 증류

시스템의 핵심은 프런티어 교사 모델에서 증류된 Qwen3 학생 모델이다. 수억 명의 사용자를 대상으로 품질과 서빙 비용을 균형 있게 맞추기 위해 Pinterest는 **지도 미세 조정(SFT)**과 **저순위 적응(LoRA)**을 사용했다. 4B 모델은 출력 품질과 처리량 사이의 최적 균형으로 선정되었으며, 복잡한 사례에서 더 작은 0.6B 및 1.7B 변형보다 일관성이 높게 나타났다. 프롬프트 설계는 행동 어휘(검색, 저장, 좋아요, 클릭, 싫어요)를 강조하며, 관련 없는 여정을 억제하기 위해 부정적 신호를 포함한다.

서빙 및 성능

이 시스템은 NVIDIA Dynamo와 vLLM을 사용하여 L40S GPU에서 서빙되며, 약 100개의 GPU 클러스터에서 중앙값 지연 시간 1.2초와 초당 약 775건의 요청 처리량을 달성했다. 미국과 캐나다에서의 초기 온라인 실험 결과, 이전 클러스터링 시스템 대비 이메일 클릭률이 1.1% 증가하고 푸시 알림 열람률이 1.3% 증가했다. 새로운 접근법은 관련 활동을 단일한 일관된 여정으로 통합하고 밈 같은 부수적 노이즈를 필터링하여 단편화를 줄인다.

향후 개발

Pinterest는 입력 처리 효율성을 높이기 위해 Pin 데이터를 64비트 정수로 압축하는 **시맨틱 ID(SID)**를 현재 탐구 중이다. 또한 온사이트 활동이 부족한 사용자를 지원하기 위해 페이지 방문 및 결제 같은 오프사이트 전환 신호를 통합하고 있으나, 이는 온사이트 행동보다 보조적으로 취급된다. 추가로, 교사 모델 증류의 한계를 넘어 모델을 직접 최적화하기 위해 명시적인 '예/아니오' 버튼과 암시적 참여 신호를 활용한 사용자 피드백 루프를 구현하고 있다.