AI Briefing#vllm
#vllm와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#vllm와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Fujitsu가 LLM의 양자화 정확도를 개선하는 오픈소스 Python 라이브러리 OneComp를 공개했다.
Netflix는 Ray·PyTorch·vLLM 위에 유연한 LLM Post-Training Framework를 구축했다.
Mistral AI가 vLLM의 분산 서빙 환경에서 발생한 메모리 누수 문제를 추적한 기술적 과정을 공개했다.
Hugging Face가 공공 AI 모델 지원을 위해 Public AI를 새로운 추론 프로바이더로 추가했다.
리벨리온이 FlashAttention 등을 NPU에 최적화하여 vLLM과 호환되는 고효율 LLM 서빙 기술을 공개했다.
Hugging Face와 AMD가 협력하여 Llama 3.1 405B의 성능을 극대화하는 MI300X 전용 커스텀 커널을 공개했다.
vLLM의 chunked-prefill 전략에서 발생하는 긴 프롬프트의 큐 차단 문제를 분석하고 최적화 방안을 제시한다.
Hugging Face가 vLLM을 활용해 Whisper 전사 성능을 최대 8배 향상시킨 Inference Endpoints 옵션을 출시했다.
Qwen이 최대 100만 토큰의 컨텍스트 길이를 지원하는 오픈소스 모델 Qwen2.5-1M 시리즈를 출시했다.
Hugging Face의 TGI가 vLLM, TensorRT-LLM 등 다양한 추론 엔진을 지원하는 멀티 백엔드 아키텍처를 도입한다.