AI BriefingNVIDIA, Cosmos 프레임워크 및 NIM 업데이트로 물리 AI 추론 속도 2~3배 향상
·2026.11.03 02:00
핵심 내용
NVIDIA가 Cosmos NIM을 통해 H200 GPU에서 2~3배 빠른 추론 속도를 달성했다
자세히 보기
- NVIDIA가 Cosmos 플랫폼 업데이트를 발표하고, 월드 모델 학습용 오픈소스 Cosmos Framework와 최적화 추론 마이크로서비스 Cosmos NIM을 도입함
- Cosmos NIM은 추측적 디코딩, 양자화, KV-cache 인식 라우팅을 활용하며, 추측적 디코딩은 H200 GPU에서 평균 약 2~3배의 속도 향상을 기록함
- 프레임워크는 Cosmos 3, NVIDIA Alpamayo, GR00T, Qwen, pi0.5 모델을 지원하며, DPO, GRPO, PPO, OPD, DiffusionNFT를 포함한 강화 학습 경로를 제공함
- 시뮬레이션 레시피는 자율주행차(30 fps, 최대 400 프레임), 로봇(YAM 및 AgiBot embodiments), 수술 워크플로우(Open-H-Embodiment)를 커버함
Performance and Deployment
- 스트리밍 VLM 추론은 라이브 비디오 이해를 위해 10배 낮은 지연 시간으로 초 단위 내 알람을 제공함
- 배포에는 Linux, NVIDIA 드라이버, Docker, NVIDIA Container Toolkit, NGC API Key가 필요함
- 체크포인트는 NVIDIA Hopper 및 Blackwell GPU에서 테스트되며, 기능, 최적화, 보안을 위해 분기별로 업데이트됨
Resource Requirements
- 추론 VRAM은 Cosmos3-Edge FP8 기준 14.5 GiB에서 Cosmos3-Super BF16 기준 135 GiB 범위임
- 생성 VRAM은 Cosmos3-Edge-DROID BF16 기준 14 GiB에서 Cosmos3-Super BF16 기준 150 GiB 범위이며, FP8 및 오프로딩 시 38 GiB로 감소 가능함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
