vllm 릴리즈

Python 3.10 지원 중단: 최소 Python 3.11 이상 필요.
의존성 업데이트: transformers>=5.16.1 및 tokenizers>=0.23.2 필수.
보안 강화: CORS 기본값이 none으로 설정되어 기본 차단됨. Watermark는 기본적으로 활성화.
기능 제거: Cascade attention, torch.compile SP/AsyncTP, mamba_cache_mode=all 제거.
API 변경:
- max_tokens가 출력 상한으로 재정의됨.
- Responses API에서 reasoning_text 사용.
- logprobs가 정수 ID로 변경.
- parallel_tool_calls 강제 적용.
- /v1/systemone 엔드포인트 추가.
기본값 변경: Shared-memory arena 기본 활성화, ROCm에서 Model Runner V2 기본 사용.

저정밀도 KV 캐시: NVFP4, FP8 등 저정밀도 캐시 최적화로 GLM-5.x에서 throughput +2.3~5.5%, fp8_ds_mla에서 output +31% 향상.
HiSparse Caching: Throughput +58% 달성.
Startup 속도 개선: vllm download-kernels, --preload-autotune 도입 및 --api-server-count>1 설정 시 short req/s 43~85% 증가.
하드웨어별 최적화:
- NVIDIA SM100: FlashMLA TTFT 1.16~1.18x 향상.
- AMD ROCm: ultraquant_4bit로 density 약 2배 향상, Kimi-K3 TTFT -20% 감소.
- Intel XPU: Arc B70 FP8 GEMM 2.0~2.73x 향상.
- CPU (s390x): Sampler 성능 58x 향상.
기타 최적화:
- MoE weighted-sum 튜닝 1.17~2.37x 향상.
- Detokenization CPU 사용량 69% 감소.
- NCCL symmetric-memory MoE reduce-scatter 레이턴시 9.6~16% 감소.
- DeepEPv2 hybrid NVLink+RDMA 기본 활성화.

신규 모델 지원: EmbeddingGemma 2, MiniCPM-V 4.7, Nemotron 3.5 ASR, GLM-5.3/Flash, DeepSeek-V4/V4.1, Qwen3.8-Flash-Next, Kimi-K3, MiniMax-M3 등 추가.
모델별 특화 최적화:
- GLM-5.3/Flash: Sparse MLA index 재사용, fused draft decode, long-context indexer TP shard 적용 (1M context TTFT 최대 25% 감소).
- DeepSeek-V4/V4.1: Decoder-side SWA bounded replay (+3.6%), encoder CUDA graph packing (TTFT 11% 감소).
- Qwen3.8-Flash-Next: QSA 1.45~1.68x, SM100 decode GEMM 2.7x 향상.
- Kimi-K3: Vision preprocess 10~20x 향상.
- MiniMax-M3: MSA prefill 26~37% 향상.
Model Runner V2: ROCm에서 기본 활성화, GPU n-gram speculator 및 Elastic EP 지원.
Sleep/RL 기능: Workspace scratch 및 KV-init 상태 메모리 해제 최적화.
Rust Frontend: qwen3_xml과 qwen3_json 분리.

Python 3.10 지원 중단: 최소 Python 3.11 이상 필요.
의존성 업데이트: transformers>=5.16.1 및 tokenizers>=0.23.2 필수.
보안 강화: CORS 기본값이 none으로 설정되어 기본 차단됨. Watermark는 기본적으로 활성화.
기능 제거: Cascade attention, torch.compile SP/AsyncTP, mamba_cache_mode=all 제거.
API 변경:
- max_tokens가 출력 상한으로 재정의됨.
- Responses API에서 reasoning_text 사용.
- logprobs가 정수 ID로 변경.
- parallel_tool_calls 강제 적용.
- /v1/systemone 엔드포인트 추가.
기본값 변경: Shared-memory arena 기본 활성화, ROCm에서 Model Runner V2 기본 사용.

저정밀도 KV 캐시: NVFP4, FP8 등 저정밀도 캐시 최적화로 GLM-5.x에서 throughput +2.3~5.5%, fp8_ds_mla에서 output +31% 향상.
HiSparse Caching: Throughput +58% 달성.
Startup 속도 개선: vllm download-kernels, --preload-autotune 도입 및 --api-server-count>1 설정 시 short req/s 43~85% 증가.
하드웨어별 최적화:
- NVIDIA SM100: FlashMLA TTFT 1.16~1.18x 향상.
- AMD ROCm: ultraquant_4bit로 density 약 2배 향상, Kimi-K3 TTFT -20% 감소.
- Intel XPU: Arc B70 FP8 GEMM 2.0~2.73x 향상.
- CPU (s390x): Sampler 성능 58x 향상.
기타 최적화:
- MoE weighted-sum 튜닝 1.17~2.37x 향상.
- Detokenization CPU 사용량 69% 감소.
- NCCL symmetric-memory MoE reduce-scatter 레이턴시 9.6~16% 감소.
- DeepEPv2 hybrid NVLink+RDMA 기본 활성화.

신규 모델 지원: EmbeddingGemma 2, MiniCPM-V 4.7, Nemotron 3.5 ASR, GLM-5.3/Flash, DeepSeek-V4/V4.1, Qwen3.8-Flash-Next, Kimi-K3, MiniMax-M3 등 추가.
모델별 특화 최적화:
- GLM-5.3/Flash: Sparse MLA index 재사용, fused draft decode, long-context indexer TP shard 적용 (1M context TTFT 최대 25% 감소).
- DeepSeek-V4/V4.1: Decoder-side SWA bounded replay (+3.6%), encoder CUDA graph packing (TTFT 11% 감소).
- Qwen3.8-Flash-Next: QSA 1.45~1.68x, SM100 decode GEMM 2.7x 향상.
- Kimi-K3: Vision preprocess 10~20x 향상.
- MiniMax-M3: MSA prefill 26~37% 향상.
Model Runner V2: ROCm에서 기본 활성화, GPU n-gram speculator 및 Elastic EP 지원.
Sleep/RL 기능: Workspace scratch 및 KV-init 상태 메모리 해제 최적화.
Rust Frontend: qwen3_xml과 qwen3_json 분리.

vllm