NVIDIA, NVLink Fusion에 NVHBM 커스텀 고대역폭 메모리 확장

AI 에이전트와 조(Trillion) 파라미터 워크로드의 주류화가 인프라에 새로운 요구사항을 제시하고 있다. NVIDIA는 하이퍼스케일러와 AI 혁신 기업이 차세대 반(半)커스텀 AI 인프라를 구축할 수 있도록 NVLink Fusion을 NVHBM(NVIDIA NVHBM) 기술로 확장했다.

기존 HBM 아키텍처는 메모리 컨트롤러를 XPU 다이 위에 배치하여 계산에 쓰일 수 있는 실리콘 면적을 소모했다. 반면 NVHBM은 NVIDIA의 커스텀 메모리 컨트롤러를 HBM 베이스 다이에 통합하여 이를 해결한다. 이를 통해 표준 HBM4E 대비 메모리 대역폭 30% 향상, 전력 소비 15% 절감, XPU 계산 다이 면적 25% 확보라는 성능 이점을 제공한다.

NVIDIA는 다수의 메모리 공급업체에서 사용할 수 있는 표준 NVHBM 구현 방식을 확립하여, 고객사의 엔지니어링 부담을 줄이고 커스텀 AI 칩의 시장 출시 속도를 높였다. Amazon의 Annapurna Labs는 NVLink Fusion 협력의 일환으로 NVHBM 기술 개발을 주도하며, 차세대 Trainium4 칩부터 이를 지원할 예정이다. 이를 통해 Amazon 칩과 NVIDIA GPU가 공통 랙 스케일 아키텍처에서 함께 작동할 수 있게 된다.