#inference-router와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
vLLM Router가 세션과 캐시를 고려해 추론 요청을 분배하는 라우팅 기능을 제공한다.