컬리, Knowledge Distillation 적용한 Collaborative Embedding 추천 시스템으로 ARPU 최대 140% 상승

컬리 데이터서비스개발팀이 사용자 행동을 언어처럼 처리하는 Collaborative Embedding 기반 개인화 추천 시스템을 구축했다. 기존 검색이나 인기 상품 위주 추천의 한계를 극복하기 위해, 사용자의 클릭 및 장바구니 담기 등 '무언의 행동'을 Transformer 문맥 이해 기술로 해석하는 방식을 채택했다.

Semantic ID와 Dual-Head 아키텍처

상품의 텍스트 정보를 RQ-VAE를 통해 압축하여 Semantic ID를 생성하고, 이를 Content Space와 Collaborative Space로 분리해 표현했다. 모델은 Dual-Head Architecture를 적용해 정확도와 속도의 균형을 맞췄다. Generative Head는 다음 주문 상품의 Semantic ID를 생성하며 복잡한 맥락을 이해하고, Retrieval Head는 벡터 유사도 기반의 고속 탐색(ANN)을 담당한다.

Knowledge Distillation을 통한 성능 최적화

초기 실험에서 Retrieval Head의 성능이 Generative Head보다 낮게 나타나자, Knowledge Distillation을 도입했다. Generative Head(Teacher)의 구매 확률 등 Soft Label 정보를 Retrieval Head(Student)에 이식하여 Representation Bottleneck 문제를 해결했다. 이를 통해 이분법적 판단을 넘어선 미세한 취향 차이를 반영할 수 있게 되었다.

온라인 A/B 테스트 성과

전체 트래픽의 50%를 대상으로 진행한 A/B 테스트에서 뚜렷한 성과가 확인됐다. '세일' 지면에서는 장바구니 담기(ATC)가 약 32% 증가했고, 사용자당 매출(ARPU)은 약 140% 상승했다. '할인' 지면에서도 ATC 약 12%, ARPU 약 32% 증가를 기록하며 개인화 정밀도 향상이 매출로 직결됨을 입증했다.