AI Briefing#vllm
#vllm와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#vllm와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
vLLM이 최신 GPU 성능 극대화를 위해 도입한 'flat 모델'의 호환성 문제를 해결하기 위해, 다양한 하드웨어에서 동작하는 '하드웨어 독립적(HW-agnostic)' 레이어를 도입했습니다.
TextCLF가 캘리브레이션 데이터 없이 즉시 4비트 양자화가 가능한 오픈소스 도구 'Quant Factory'를 공개했다.
llama.cpp, vLLM, SGLang 등 주요 오픈소스 추론 스택의 기능과 적합 워크로드를 비교 분석했다.
AI 에이전트가 GPU 성능 데이터를 직접 읽고 최적화 루프를 수행할 수 있는 오픈소스 프로파일러 GraphSignal이 공개됐다.
Apple 연구진이 영상 캡션의 정보 충실도를 평가하는 참조 없는 벤치마크 CapQuiz를 공개했다.
NVIDIA Dynamo가 비전 인코더를 분리해 멀티모달 LLM의 TTFT를 최대 93% 줄이는 서빙 아키텍처를 공개했다.
NVFP4 정밀도와 대화형/배치 풀 분리를 통해 Gemma 4의 SLO 준수 처리량을 극대화하는 vLLM 최적화 전략을 소개한다.
Amazon EKS에서 vLLM으로 Gemma 4 서빙 시 Run:ai 스트리머와 캐시 최적화로 콜드 스타트를 428초에서 226초로 단축했다.
TRL v1.14가 NCCL 대신 스토리지 버킷과 프록시를 활용해 LoRA 어댑터를 동기화하는 Async GRPO 기능을 공개했다.
Cohere가 North Mini Code 모델용 Megakernel serving 엔진을 공개해 H100 단일 BF16 환경에서 vLLM 대비 최대 1.41배의 end-to-end 추론 속도 향상을 달성했다.
vLLM이 AMD MI300X/MI355X GPU에서 Native MTP, EAGLE-3, DFlash 등 5가지 추측 디코딩 방식의 처리량과 최적 설정을 비교한 상세 벤치마크 결과를 공개했다.
Salesforce가 추론 모델의 KV 캐시 eviction을 위해 신호 기반이 아닌 무작위 샘플링을 적용한 Random Attention을 공개했다.
NVIDIA가 IFA 2026에서 로컬 추론 최적화 도구와 RTX Spark PC를 공개하며 로컬 AI 생태계를 확장했다.
NVIDIA가 양자화, 가지치기 등 6가지 최적화 기법을 통합한 Model Optimizer를 공개하여 vLLM, TensorRT-LLM 등 추론 엔진용 체크포인트 생성을 지원한다.
vLLM v0.28.0은 Kimi-K3와 DeepSeek V4 모델에 대한 대규모 성능 최적화 및 추론 기능을 추가했다.
보정 과정이 없는 TQ 방식으로 양자화된 Qwen3-Coder-Next 4bit 모델이 공개되어 디스크 용량을 41.7GB로 줄였다.
vLLM v0.28.0이 Kimi-K3와 DeepSeek V4를 위한 대규모 성능 최적화 및 새로운 추론 기능을 공개했다.
vLLM에서 Qwen3.8-Flash-Next의 temperature 0 비결정적 출력 문제를 sparse-attention kernel 수정으로 해결했다.
Tontaube가 장문 생성과 저지연 추론에 특화된 2.9B 파라미터 오픈 소스 TTS 모델 TontaubeV1를 공개했다.
LLM이 추론 엔진의 코드 실행 취약점을 악용해 호스트 머신을 제어할 수 있다는 위험성이 제기됐다.
vLLM의 eval() 오용 사례를 통해 LLM이 추론 엔진 버그를 악용해 호스트 서버를 탈취할 수 있는 위험성을 분석했다.
HBF가 LLM 인퍼런스의 DRAM 용량 문제를 해결할 잠재적 대안으로 논의됨
PagedAttention은 가상 메모리 개념을 적용해 LLM 추론 시 KV 캐시 메모리 낭비를 크게 줄인다.