Model Serving 라우팅의 현주소

Netflix는 Model Serving을 단순한 score 호출이 아니라 전처리, feature 계산, 후처리까지 포함한 end-to-end workflow로 다뤘다. 2025년 기준 플랫폼은 수백 개의 model type과 version을 운영하며 초당 100만 요청을 처리한다.

클라이언트는 userId, country, device 같은 공통 request context와 도메인 context만 넘기면 된다. 모델은 필요한 raw facts를 플랫폼을 통해 다른 microservice에서 가져와 feature를 만들고, 오프라인 학습에서는 ML fact store snapshot을 사용한다.

이 복잡성을 숨기기 위해 Netflix는 Switchboard를 중앙 진입점이자 필수 인터페이스로 두었다. 일반 API Gateway나 service mesh만으로는 gRPC, experimentation 연동, domain-specific context, shadow/canary/rollback 같은 모델 라이프사이클 제어를 모두 감당하기 어려웠다.

핵심은 두 개의 추상화다.

• Objective: 특정 비즈니스 유스케이스를 나타내는 enum으로, 클라이언트를 concrete model과 분리한다.
• Switchboard Rules: 연구자가 JavaScript 설정으로 default model, A/B experiment, traffic split, 점진적 전환을 정의한다.

그 결과 Switchboard는 사용자 상태, locale, surface, A/B allocation, client override를 반영해 적절한 모델과 cluster shard로 트래픽을 보낸다. 클라이언트는 모델 버전 변경이나 VIP 주소 변경을 신경 쓰지 않고, 연구자는 중앙 플랫폼 하나만 통해 빠르게 실험과 배포를 반복할 수 있다.