Spotify, NVIDIA와 협력해 LLM 추론 최적화… 추천 시스템 비용 54% 절감

Spotify는 플랫폼 전반에서 실시간 개인화 콘텐츠를 제공하기 위해 전통적인 다단계 추천 시스템에서 **대형 개인화 언어 모델(Large Personalized Language Models)**으로 전환하고 있다. 이 변화는 2026년 1월 LLM 기반 팟캐스트 추천 도입으로 시작됐으며, 대규모 빔 서치(beam search) 및 후보 점수 매기기(candidate scoring) 작업을 처리하기 위해 효율적인 추론 아키텍처가 필수적이다.

추론 과제 및 해결 방안

초기 구현에서는 빔 서치에 vLLM, 후보 점수 매기기에 SGLang을 사용했다. 그러나 vLLM의 빔 서치 구현이 GPU 엔진 외부에서 작동해 CPU 병목 현상이 발생하고 고성능 GPU의 활용도를 떨어뜨렸다. 이러한 비효율성을 해결하기 위해 Spotify는 NVIDIA와 협력해 해당 기능들을 TensorRT LLM(TRT-LLM) 내에서 통합했다.

주요 기술 기여

이번 협력으로 TensorRT LLM에 다음과 같은 중요한 업데이트가 이루어졌다:

• 빔 서치 지원: 호스트 오버헤드를 줄이고 GPU 활용도를 높이기 위해 샘플러에 빔 서치를 통합했으며, v1.2.0rc3에서 릴리스됐다.
• Out-of-Tree 모델: 커스텀 모델 플러그인 지원을 통해 Spotify가 소프트 토큰 주입을 위한 Qwen3 확장을 구현할 수 있게 했으며, v1.2.0rc4에서 릴리스됐다.
• 다중 항목 점수 매기기: 단일 요청에서 여러 후보를 효율적으로 점수 매기기 위한 Python API 확장으로, SGLang의 기능과 동등하며 v1.3.0rc20에서 릴리스됐다.
• 멀티모달 임베딩: image_embeds를 통해 임베딩을 전달하는 지원이 v1.3.0rc0에서 릴리스됐다.

성능 및 개인화

Spotify는 개인화를 위해 **소프트 토큰(soft tokens)**을 사용하며, 기존 사용자 임베딩을 LLM의 임베딩 공간으로 투영한다. 'Embedding to Prefix' 방식에 기반한 이 접근법은 대규모 텍스트 프롬프트의 지연 시간 페널티 없이 개인화된 추천을 가능하게 한다.

Qwen3 1.7B 모델을 사용한 벤치마크는 상당한 효율성 향상을 보여준다:

• 빔 서치: 최대 54% 비용 절감.
• 점수 매기기 워크로드: 최대 7% 비용 절감.

이러한 개선으로 Spotify는 지연 시간과 인프라 비용을 통제하면서 더 많은 영역에서 생성형 추천 기능을 확장할 수 있게 됐다. 향후 작업은 양자화 및 NVIDIA Blackwell 아키텍처를 위한 최적화에 집중될 예정이다.