vLLM Router, 세션과 캐시 고려한 추론 요청 분배

vLLM Router: 세션과 캐시를 고려해 추론 요청을 분산하는 라우터

·2026.11.12 20:00

핵심 내용

vLLM Router가 세션과 캐시를 고려해 추론 요청을 분배하는 라우팅 기능을 제공한다.

1 / 3

SGLang Model Gateway를 포크한 Rust 기반 vLLM Router가 세션, 워커 부하, 프롬프트 캐시를 고려해 추론 요청을 분배한다.
기본 정책인 cache_aware는 입력 앞부분 일치도와 부하를 고려해 워커를 선택하며, consistent_hash, power_of_two 등 다양한 정책을 지원한다.
프리필/디코드 분리 라우팅을 지원해 각 단계에 서로 다른 정책을 적용할 수 있으며, NIXL, NCCL, Mooncake 커넥터 구성 예제를 제공한다.
서킷 브레이커, 재시도, Kubernetes 워커 자동 탐색, Prometheus 지표 수집 등 운영 기능을 갖추고 있다.
Python 3.8 이상에서 pip install vllm-router로 설치 가능하며, Apache-2.0 라이선스를 사용한다.

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.