vllm

vLLM은 대규모 언어모델(LLM)의 추론과 서빙을 위한 빠르고 사용하기 쉬운 라이브러리입니다. 모델을 서비스로 배포하는 ML 엔지니어, 플랫폼/인프라 엔지니어, 연구자들이 주로 사용하며, OpenAI 호환 API 서버와 다양한 모델·하드웨어 지원을 바탕으로 운영 환경에서 활용됩니다. 릴리스는 성능, 지원 모델, 하드웨어 호환성, API 동작에 직접 영향을 주기 때문에 중요합니다.