AI Briefing#vllm
#vllm와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#vllm와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
vLLM의 비표준 KV 캐시 구조가 Cerebras 등 이기종 하드웨어 간 추론 연동을 방해한다고 지적됨.
vLLM 추론 성능을 진단하고 병목 지점을 찾아 최적화하는 오픈소스 도구 'Profile'이 출시되었습니다.
NVIDIA가 로컬 AI 커뮤니티와 함께 오픈 모델·에이전트 생태계 확장을 추진한다.
VIDRAFT 팀이 A10G에서 품질을 유지하며 Gemma 추론 속도를 510.58 TPS까지 끌어올렸다.
Molt는 에이전트 자체를 프로그램으로 취급하여 대규모 모델 학습을 지원하는 PyTorch 기반 강화학습 프레임워크다.
PyTorch Foundation이 PyTorch, vLLM 등 6개 프로젝트의 최신 성과와 로드맵을 공개했다.
Netflix가 hosted API 대신 자체 LLM 서빙 인프라를 구축해 모델 배포부터 추론까지 전체 스택을 직접 운영한다.
LLM 서비스의 트래픽 변동으로 발생하는 유휴 GPU 자원을 모델 학습 및 연구에 재할당하여 인프라 효율을 극대화하는 기술을 소개한다.
LLM 서비스의 트래픽 변동으로 발생하는 유휴 GPU 자원을 연구 및 학습용으로 재할당하는 효율적인 스케줄링 파이프라인을 구축했다.
vLLM의 Transformers 모델링 백엔드가 최적화되어 기존 커스텀 구현체와 대등하거나 더 빠른 성능을 제공합니다.
실시간 대화에 최적화된 0.6B 파라미터 규모의 스트리밍 TTS 모델 Gepard 1.0이 오픈소스로 공개되었습니다.
MoE 모델의 전문가 지역성을 고려한 ELDR 라우팅을 통해 디코드 지연시간을 최대 13.9% 단축함.
vLLM Semantic Router가 모델 API 계층에서 여러 모델을 협업시키는 마이크로 에이전트 런타임을 선보였다.
Hugging Face Jobs 인프라를 통해 단 한 줄의 명령어로 OpenAI 호환 vLLM 엔드포인트를 구축할 수 있습니다.
AI 에이전트를 활용해 오픈소스 포크의 동기화 및 오류 수정 주기를 수주에서 수일로 단축하는 자동화 방법론을 제시한다.
DeepLearning.AI에서 vLLM을 활용한 효율적인 LLM 추론 최적화 과정을 공개했다.
Huawei가 vLLM의 용량과 처리량을 동시에 개선하는 새로운 KV-cache 양자화 백엔드 KVarN을 공개했다.
AMD MI300X에서 DeepSeek-V4-Flash를 구동할 때 발생하는 FP8 표준 불일치 및 커널 최적화 문제를 분석한다.