vllm

🚀 주요 신규 기능 및 성능 개선

• DeepSeek-V4.1-Flash 지원: FlashMLA 및 NVFP4를 기본 적용하여 성능을 극대화했습니다.
• 빠른 재시작 및 메모리 관리: vllm preload를 통한 GPU 메모리 캐싱과 CRIU 기반 스냅샷 기능을 지원하여 서비스 재시작 속도를 대폭 개선했습니다.
• Model Runner V2 확장: LiLiCorr 드래프터와 DFlash 비동기 스케줄링을 추가했으며, MoonEP 백엔드 및 Prefill CP를 통해 대규모 서빙 성능을 향상시켰습니다.
• 새로운 모델 지원: DiffusionGemma, MiMo V2, Cohere2MoE, GLM-5.2/5.3, Granite 4.2 등을 지원합니다.
• 모델별 최적화:
  • DeepSeek V4: FlashInfer sparse MLA 및 fused MoE 적용.
  • GLM-5.3-Flash: SM90/120 sparse backend로 metadata 처리 1.6-4.8x 가속 및 3GiB 메모리 절감.
  • Qwen3.8-Flash-Next: FP8 KV/MoE 지원 및 DGX Spark 가중치 로딩 시간 25초 단축.
  • Kimi K3/MiniMax-M3: RoPE 연산 29x, Conv3d 연산 62x 가속.
  • DiffusionGemma: logprob 읽기 속도 25% 가속.
• 스케줄러 및 캐싱 개선:
  • --max-num-active-seqs 및 adaptive --long-prefill-token-threshold 도입.
  • skipped_waiting을 KV-holding queue로 교체하고, max_num_seqs가 8의 배수가 아닐 때 발생하는 throughput cliff 문제 해결.
  • Prefix caching에서 Mamba shared checkpoint 지원 및 batched Mamba2 prefill state save로 GPU-CPU sync 제거.
• 플랫폼별 최적화:
  • NVIDIA: FlashInfer 0.7.0.post1, DeepGEMM SM120 fix, PyTorch 2.13 QuTLASS 지원.
  • AMD ROCm: AITER v0.1.23, Triton 3.8 지원, Hy4 torch.compile로 decode latency 13x 감소.
  • Intel XPU: PyTorch 2.14 지원, XPU graphs 기본 활성화, fused QK RMSNorm+RoPE+gate로 decode 55% 가속.
  • CPU: Arm paged attention 최대 25% 가속, FP8 W8A8/INT4 지원, Ubuntu 22.04 wheels 제공.

⚠️ Breaking Changes 및 제거된 기능

• Tokenizer 모드 변경: tokenizer_mode="slow" 옵션이 제거되었습니다.
• 양자화(Quantization) 변경: fp8 옵션이 fp8_per_tensor로 변경되었습니다.
• AllSpark INT8 W8A16 GEMM 제거: 해당 백엔드 지원이 중단되었습니다.
• JIT Warmup 비활성화: --enforce-eager 사용 시 JIT warmup이 기본적으로 비활성화됩니다.
• XPU Graph 기본 활성화: Intel XPU 환경에서 XPU graph가 기본적으로 활성화됩니다.
• 환경 변수 제거:
  • VLLM_PLE_CPU_OFFLOAD 제거 (대신 --engram-config 사용).
  • VLLM_XPU_ENABLE_XPU_GRAPH 제거 (XPU graph 기본 ON).
• API 변경: return_assistant_tokens_mask 제거.
• Mamba Prefix Cache 옵션 변경: --enable-mamba-fine-grained-prefix-cache가 --enable-mamba-shared-prefix-checkpoint로 변경되었습니다.

🔒 보안 강화

• 멀티모달 파라미터 차단: --trust-request-mm-kwargs 옵션이 없으면 요청별 멀티모달 파라미터(mm_processor_kwargs)를 기본적으로 차단합니다.
• LoRA 해시 충돌 방지: LoRA 관련 해시 충돌 문제를 방지하도록 개선되었습니다.
• Prefix Cache Hash 강화: Prefix caching의 해시 로직을 강화하여 보안을 높였습니다.

🛠️ 기타 주요 변경 사항

• Structured Output: XGrammar 0.2.7 및 Granite Streaming Parser 지원.
• API 호환성: OpenAI/Anthropic/Harmony 호환성 개선, reasoning token count 및 batched completions 지원.
• Rust Frontend: --hf-overrides, gRPC sampling masks, vllm-proto 0.3.0, CUDA 이미지 내 vllm-rs 포함.
• Sleep/RL 지원: release_kv_cache_memory()로 KV 캐시만 해제하고 frozen weights는 보존하며, NCCL M2N weight transfer를 지원합니다.
• Batch Invariance: VLLM_BATCH_INVARIANT 환경 변수 하에서 torch.compile 없이 breakable CUDA graphs를 기본 사용합니다.