AI Briefing#vllm
#vllm와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#vllm와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
하이브리드 모델 서빙에서 프리필 TPM을 최대 3.14배 높이고 p90 TTFT를 최대 88% 줄였다.
Tandem-vLLM 0.2.0이 하드웨어 지원을 확대하고 단일 RTX PRO 6000에서 75.5 tok/s를 달성했다
NVIDIA가 vLLM로 두 대의 DGX Station에서 GLM-5.3 NVFP4 서빙 가이드를 공개했다.
MACaQ가 커스텀 vLLM 커널로 저비트 KLD를 낮추고 추론 속도를 유지했다
PyTorch Helion이 컴파일 타임 휴리스틱으로 vLLM 커널 대비 1.27x 성능을 달성했다.
Prefixwise v0.10.0이 LLM 프롬프트 캐시 미스를 진단하고 수정했다
vLLM v0.33.0 스케줄러 수정으로 DeepSeek DSpark 처리량이 2.47배 향상했다
Modular가 LLM 추론 지표와 최적화, 운영 비용을 다루는 57페이지 무료 핸드북을 공개했다.
H200 GPU 동시성 테스트에서 128명 접속 시 시간당 985개 정답을 기록해 베이스 모델 대비 효율 우위를 확인했다
libstrix Docker 이미지로 Strix Halo에서 Qwen3.8-Flash-Next 디코드 40+ tok/s 달성했다
libstrix가 Strix Halo에서 vLLM 프리필 속도를 최대 31배 높였다
Ubicloud가 vLLM constrained decoding 활성화로 tool-call 정확도를 100%로 높였다
에이전트 모델 전환 시 KV 캐시 한계와 대화 상태 관리 전략을 벤치마크로 제시했다.
Humming이 H20 GPU에서 양자화 추론 처리량을 최대 43%까지 향상시켰다.
llm-d 1.0이 멀티테넌트 QoS와 제로다운타임 업그레이드를 갖춘 프로덕션 LLM 추론 스택을 출시했다
Helion vLLM 백엔드가 H100 일부 워크로드에서 10% 이상 처리량 향상을 달성했다
vLLM이 PyTorch 네이티브 TPU 백엔드를 제공해 코드 수정 없이 TPU v7x 구동이 가능해졌다
기본 설정에서는 성능이 비슷하지만, 출력 길이와 접두사 재사용 여부에 따라 최적 엔진이 달라진다.
Reflection이 100만 토큰 컨텍스트를 지원하는 501B MoE 오픈 모델 Beam을 공개했다.