AI Briefing#tensorrt-llm
#tensorrt-llm와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#tensorrt-llm와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Spotify와 NVIDIA 협업을 통해 Qwen3 1.7B 모델의 빔 서치 워크로드 비용을 최대 54% 절감했다.
NVIDIA Vera Rubin NVL72가 MLPerf Inference v6.1에서 GB300 대비 최대 3.7배 처리량을 기록하며 선두에 올랐다.
NVIDIA가 양자화, 가지치기 등 6가지 최적화 기법을 통합한 Model Optimizer를 공개하여 vLLM, TensorRT-LLM 등 추론 엔진용 체크포인트 생성을 지원한다.
NVIDIA는 Blackwell 플랫폼과 최적화된 소프트웨어 스택을 통해 AI 추론 시 토큰당 비용을 획기적으로 낮추고 있다.
Dell Pro Max GB10은 128GB 통합 메모리로 70B급 LLM을 로컬에서 실시간 구동했다.
NVIDIA NIM이 Hugging Face의 10만 개 이상의 LLM을 신속하고 안정적으로 배포할 수 있도록 지원한다.
Hugging Face의 TGI가 vLLM, TensorRT-LLM 등 다양한 추론 엔진을 지원하는 멀티 백엔드 아키텍처를 도입한다.
Hugging Face가 NVIDIA 플랫폼에서 LLM 추론 속도를 최대 28배 높여주는 Optimum-NVIDIA 라이브러리를 출시했다.