AI Briefing#nvidia-dynamo
#nvidia-dynamo와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#nvidia-dynamo와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
KV Cache 증가로 인한 메모리 병목을 해결하기 위해 HBM부터 NVMe SSD까지 계층형 구조를 활용해야 한다.
Prime이 프런티어 오픈 모델 서빙을 위한 Prime Inference를 출시했다.
장문 컨텍스트와 RAG 확산으로 인한 AI 추론 메모리 병목을 해결하기 위해 HBM, Host DRAM, NVMe SSD를 활용한 계층형 아키텍처로의 전환이 필수적이다.
Pinterest가 NVIDIA Dynamo와 Blackwell GPU를 활용해 VLM 서빙 스택을 구축하고 TTFT를 85배 개선했다.
NVIDIA Dynamo가 비전 인코더를 분리해 멀티모달 LLM의 TTFT를 최대 93% 줄이는 서빙 아키텍처를 공개했다.
NVIDIA와 Google Cloud가 10만 명 규모의 공동 개발자 커뮤니티와 JAX·Dynamo 리소스를 확대했다.