AI BriefingNVIDIA Vera Rubin NVL72, 에이전틱 처리량 대비 비용 효율 30배 향상
·2026.11.06 01:00
핵심 내용
NVIDIA가 Vera Rubin NVL72로 에이전틱 처리량 대비 비용 효율을 30배 높였다
자세히 보기
- NVIDIA의 풀스택 코드디자인 전략은 HBM 용량이 GPU당 약 3%만 증가했음에도 Vera Rubin NVL72 플랫폼에서 GB300 NVL72 대비 에이전틱 처리량(throughput) 대비 비용 효율을 최대 30배 향상시킴
- NVFP4 포맷을 활용해 모델 가중치를 축소하고, NVL72 도메인 내 최대 72개 GPU에 가중치를 분산 배치하며, 비활성 KV 캐시를 저비용 스토리지 계층으로 오프로딩하는 방식으로 '메모리 월(memory wall)' 문제를 해결함
- NVIDIA Dynamo 소프트웨어와 NVIDIA CMX 컨텍스트 메모리 스토리지는 일시 정지된 컨텍스트를 공유형 저비용 스토리지로 이동시켜 활성 동시 사용자를 위한 고대역폭 메모리를 확보함 (파트너사: Cloudian, DDN, Dell, HPE, IBM, NetApp, VAST, WEKA)
- NVIDIA Nemotron Retriever 모델을 통해 임베딩 크기를 줄이고 cuVS 라이브러리를 사용해 검색 인덱스를 CPU 또는 스토리지에 유지함으로써 HBM 점유를 줄여 RAG 효율을 개선함
- SemiAnalysis AgentX DeepSeek V4 Pro 워크로드 기준, GB300 NVL72는 사용자당 초당 100 토큰 처리 시 H200 플랫폼 대비 최대 10배 높은 처리량 대비 비용 효율을 달성함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
