AI Briefing#vllm
#vllm와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#vllm와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
NVIDIA가 Alibaba의 Qwen3.6-35B 모델을 NVFP4 데이터 타입으로 양자화하여 공개했다.
TRL 라이브러리에 변경된 가중치만 전송하는 Delta Weight Sync 기능을 추가하여 RL 학습 시 대역폭 소모를 획기적으로 줄였다.
LG AI연구원이 vLLM 지표를 활용해 유휴 GPU를 연구 작업에 재활용하며 인프라 효율을 극대화했다.
Harbor v0.4.19가 출시되어 로컬 추론 백엔드 기반의 에이전트 실행과 웹 검색 도구 자동 주입 기능을 지원한다.
EAGLE, vLLM, TorchSpec 팀의 협업을 통해 Eagle 3.1이 공개되었다.
Starlette의 Host 헤더 처리 미흡으로 vLLM, LiteLLM 등 주요 AI 인프라의 인증이 우회될 수 있는 보안 취약점이 발견되었습니다.
GPU의 실제 유효 활용률과 상한선을 실시간으로 측정하는 도구가 공개됐다.
Amazon이 Chinchilla scaling law를 확장해 정확도 손실 없이 LLM 속도를 높이는 프레임워크를 제시했다.
Amazon EKS Auto Mode와 Bifrost, Langfuse로 Agentic AI 운영을 자동화했다.
vLLM 플러그인을 통해 GLiNER, ColBERT 등 encoder 모델을 효율적으로 서빙할 수 있는 vLLM Factory가 오픈소스로 공개되었다.
vLLM이 Mamba 레이어 문제로 발생하던 Qwen 3.5+ 모델의 TurboQuant 미구현 오류를 해결함.