Netflix, CLIP 임베딩 활용해 신규 콘텐츠 콜드 스타트 문제 해결

Netflix는 CLIP 기반 멀티모달 임베딩을 도입하여 신규 콘텐츠 출시 시 발생하는 콜드 스타트(cold-start) 문제를 해결하고 개인화 추천의 정확도를 높였다. 기존 모델은 자산(asset)을 불투명한 ID로만 취급해 상호작용 데이터가 부족한 신규 콘텐츠에서는 인기 기반 휴리스틱에 의존해야 했지만, 새로운 접근법은 시각적 및 청각적 특징을 즉시 반영한다.

CLIP 임베딩을 통한 시각적 이해

모델은 각 artwork를 CLIP 이미지 텍스트 임베딩 모델로 인코딩하여 768차원 벡터를 생성하고, 이를 학습된 ID 임베딩과 결합한다. 이 방식은 모델이 artwork의 실제 내용(테마, 출연진, 색상 팔레트 등)을 이해하게 하여, 해당 자산에 대한 상호작용 이력이 전혀 없더라도 유사한 시각적 패턴을 가진 과거 콘텐츠와의 선호도 신호를 즉시 전달할 수 있게 한다.

모델 통합 및 효율성 향상

기존에는 캔버스 크기(세로, 가로, 파노라마 등)별로 별도의 모델을 학습시켰으나, CLIP 임베딩은 크롭이나 리사이즈에 대해 불변성을 가지므로 여러 캔버스의 신호를 하나의 통합 모델로 풀링(pooling)할 수 있다. 이를 통해 아티스트나 장르에 대한 선호도가 캔버스 간에 자연스럽게 전이되며, 전체 시스템의 복잡도를 줄이고 개인화 효과를 극대화한다.