vllm

Breaking Changes

• CUDA 12.9 지원 중단 및 CUDA 13.0 전용 전환.
• Medusa/MLP speculator 및 legacy Ray compiled-graph executor 제거.
• NIXL 1.5+ 버전이 필수 요구사항으로 변경.
• VLLM_ROCM_AITER_MLA_DCP_VERIFY 등 환경 변수 3종 제거.
• VLLM_ROCM_MONO_DECODE 환경 변수 제거 및 --monokernel 플래그로 대체.
• --trust-request-chat-template 옵션이 chat template 처리에 필수화됨.

Major New Features

• Rust Frontend 도입으로 Python과 기능 parity 확보 및 장문 HTTP 500 오류 제거.
• ROCm 10.0 기본 전환 (기존 7.2는 -rocm72 옵션으로 사용 가능).
• 신규 API 엔드포인트: /v1/decisions, late chunking embeddings, token embeddings, derender 모드 추가.
• 신규 모델 지원: Reflection Beam-1.0, AliceAI-Foundation-80B-A3B (512-expert MoE, 262K 컨텍스트), Recursive Flint, Step-5 Preview, Nemotron-Labs Dory1.0-4B, MiniCPM-OCR 1.0 등.
• GLM-5.3-Flash FP8 KV 캐시 기본 적용 및 Cohere2MoE dual stream 지원.
• Blackwell 아키텍처에서 query heads per rank 16 이하일 때 FA4 sparse MLA decode 활성화.

Performance Improvements

• NVIDIA GB300: DFlash/DSpark 스펙추티브 디코딩 시 슬롯 예약 제거로 1373→3390 tok/s 향상.
• Kimi-K3: TP8/16 환경에서 1.5-2x 속도 개선.
• DeepSeek-V4.1-Flash: Batch 1 기준 +18.3% 성능 향상, 1M 컨텍스트 시 스텝당 ~850us 절감.
• AMD ROCm: MonoKernel 적용으로 MI300X/MI325X P50 2.32x 개선, MI355X TPOT -16.6%, RX 7900 XTX KV 캐시 4.6x 확장.
• GLM/Gemma4/Qwen3/MiniMax M2: 툴 스트리밍 지연 시간 12KB 기준 2.1s → 11ms 단축.
• B300: TPOT 1.2-3.0% 개선, GB200 long-prompt staged writes 31-120x 향상.
• CPU Offload: 32개 shm 파일 지원으로 GLM-5.3 시작 시간 63.6s → 38.3s 단축.
• Masked logits 검색 생략으로 최대 8x 속도 향상.

Deprecations & Removals

• --mamba-cache-mode 옵션 비추천(deprecated).
• LM Format Enforcer 비추천 (v0.35.0에서 제거 예정).

Security & Fixes

• 미디어 바이트 예산 제한 도입 및 certifi>=2026.10.19 적용.
• 생성 중 요청 시 503 상태 코드 반환 로직 추가.
• Beam search 점수 길이 정규화 및 유효하지 않은 필드 실패 처리, 빈 tools 배열 400 반환.