Shopify, 검색과 추천 통합 생성형 모델로 Shop 피드 주문 7.95% 증가

• Shopify가 검색과 추천을 동시에 최적화하는 공유 생성형 탐색 모델을 프로덕션에 배포함. Shop 홈 피드에서 주문 7.95%, 전환율 9.85% 상승 달성함.
• RQ-KMeans를 통해 생성된 3토큰 시맨틱 ID로 수십억 개 제품을 표현함. 관련 항목이 학습 신호를 공유하여 신제품 탐색 재현율(recall)을 상대적 10-15% 개선함.
• Liquid AI의 LFM2-2.6B 기반 모델과 멀티토큰 예측을 활용해 서빙 지연 시간을 최적화함. 요청당 제약 오버헤드를 50ms 이상에서 약 1ms로 줄이면서 품질 유지함.
• 후보 생성과 랭킹을 아우르는 단일 모델에 인텐트 추론, 멀티모달 시각 표현, 온라인 연속 학습을 통합하는 것이 향후 개발 방향임.

Technical Implementation

• 8,192개 항목으로 구성된 3개 코드북을 가진 RQ-KMeans를 사용해 제품 임베딩을 시맨틱 ID로 변환함. 하위 성능이 더 좋다는 이유로 RQ-VAE 대신 선택함.
• 검색과 추천 데이터를 결합해 학습함. 실험 결과 어느 한 스트림을 제거하면 다른 쪽 성능이 저하되어 공동 학습의 상호 이익을 확인함.
• 오프라인 실험에서 LLM 관련성 판정을 활용한 강화 학습이 OneDCG@10 기준 검색 검색 품질을 1.5포인트 향상시킴.

Serving Optimization

• 프로덕션 스택은 LFM2-2.6B 모델을 위한 커스터마이징된 TensorRT-LLM 구성과 RIPL 추론 엔진을 사용함.
• 카탈로그 접두사 트리(prefix tree)를 희소 GPU 인덱스로 표현해 제약 디코딩을 가속화함. 이를 통해 유효한 제품 경로에 대한 벡터화 검증이 가능함.
• 멀티토큰 예측을 통해 단일 패스에서 모든 3개 코드워드를 예측함. 오토레그레시브 생성과 동일한 지연 시간 예산 내에서 더 큰 후보 집합 생성 가능함.