AI BriefingvLLM v0.33.0, DeepSeek DSpark 처리량 2.47배 향상
vLLM v0.33.0: 2.47× Higher Throughput for DeepSeek Dspark with a Scheduler Fix
·2026.11.09 03:39
핵심 내용
vLLM v0.33.0 스케줄러 수정으로 DeepSeek DSpark 처리량이 2.47배 향상했다
자세히 보기
- vLLM v0.33.0에서 DSpark와 DFlash의 불필요한 draft-token 예약을 제거하여, draft-buffer 용량 제약과 타깃 모델의 스케줄링 예산을 분리함
- 단일 GB300 TP4 환경에서 DeepSeek-V4.1-Flash DSpark(K=5)의 출력 처리량이 1,373 tok/s에서 3,390 tok/s(+147%)로 증가함
- 중앙값 Time Per Output Token(TPOT)은 29.2 ms에서 15.7 ms로, 중앙값 Time To First Token(TTFT)은 93.6 s에서 30.0 s로 감소함
- 더 큰 prefill chunk 처리와 혼합 prefill/decode 반복 횟수 감소로, pure-decode CUDA graph 활용도가 높아짐
- 관찰된 최대 실행 중 요청 수가 52에서 64로 증가했으며, acceptance length는 약 4.72에서 4.73 수준으로 안정적으로 유지됨
- 해당 결과는 DeepSeek-V4.1-Flash DSpark 벤치마크 구성에 한정되며, 보편적인 속도 향상을 입증하지 않음. 이번 변경 사항에서 DFlash는 end-to-end 벤치마크가 수행되지 않음
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
