Netflix의 자체 LLM 서빙 시스템 구축

Netflix는 외부 호스팅 API에 의존하는 대신, 기존 프로덕션 환경 내에서 모델 배포부터 추론까지 전 과정을 직접 관리하는 자체 LLM 서빙 시스템을 구축했다. 이 시스템은 JVM 기반의 통합 서빙 시스템을 전면에 두고, 실시간 및 캐시된 배치 경로를 모두 지원한다.

추론은 모델 규모에 따라 다르게 처리된다. 작은 CPU 모델은 오버헤드를 줄이기 위해 In-process로 실행되며, 대규모 GPU 모델은 **Model Scoring Service(MSS)**를 통해 추론을 수행한다. MSS는 NVIDIA Triton Inference Server를 기반으로 하며, **Java 제어 평면(Control Plane)**이 배포, 버전 관리, 오토스케일링 및 멀티 리전 롤아웃을 관리한다.

핵심 엔진으로는 vLLM을 선택했다. 기존에 사용하던 TensorRT-LLM 대신 vLLM을 채택한 이유는 다음과 같다.

• 커스텀 모델 아키텍처 지원: 복잡한 컴파일 파이프라인 없이도 빠른 반복 작업 가능
• 확장성: 커스텀 디코딩 로직을 위한 확장 훅(Hooks) 제공
• 디버깅 용이성: 컴파일된 엔진보다 중간 상태 및 오류 확인이 쉬움
• 친숙함: 연구 단계에서 사용하는 도구와의 일관성 유지

모델 패키징 방식으로는 vLLM backend를 기본으로 사용한다. 이는 모델 가중치와 토크나이저를 가리키는 JSON 설정만으로 배포가 가능하여, 모델과 프론트엔드가 독립적으로 진화할 수 있게 한다. 다만, Triton과 vLLM 간의 버전 불일치 문제는 운영 과정에서 주의해야 할 요소로 확인되었다.