vLLM, Transformers 백엔드 성능 대폭 개선

Hugging Face의 Transformers 라이브러리를 vLLM의 모델링 백엔드로 사용하는 기능이 크게 개선되었습니다. 이제 모델 제작자가 별도의 최적화 코드(Porting)를 작성하지 않아도, Transformers의 구현체를 그대로 사용하여 vLLM의 고성능 추론 기술을 활용할 수 있습니다.

주요 업데이트 및 특징은 다음과 같습니다:

• 성능 향상: Qwen3 모델 벤치마크 결과, Transformers 백엔드가 vLLM의 기존 **Native 구현체와 대등하거나 오히려 더 높은 처리량(Throughput)**을 기록했습니다.
• 자동 최적화: GPU 병렬화, 컴파일, 퓨즈드 커널(Fused kernels) 등을 통해 하드웨어 성능을 최대한 활용할 수 있도록 지원합니다.
• 사용 편의성: --model-impl transformers 플래그 하나만으로 기존 vLLM 설정 변경 없이 즉시 적용 가능합니다.
• 범용성: LLM뿐만 아니라 VLM(Vision Language Models)도 지원하며, Continuous batching 및 커스텀 어텐션 커널과 결합되어 작동합니다.