NVIDIA DSX, 고정 전력 예산 내 AI 팩토리 토큰 처리량 24% 증대

NVIDIA DSX는 AI 팩토리의 메가와트당 처리량을 최적화하는 기술 스위트다. 클라우드 제공업체 Lambda는 NVIDIA HGX B200 GPU 서버에서 DSX MaxLPS를 검증한 결과, 16개 노드의 전력 예산으로 19개 노드를 운영하여 클러스터 전체 토큰 처리량을 24% 증가시켰으며(초당 약 400만 토큰에서 500만 토큰), 와트당 성능은 23% 향상됐다. Jensen Huang CEO는 "1GW 팩토리가 2GW가 될 수는 없다"며 네트워킹, 냉각, 전력 배분 등 전체 시스템 최적화의 중요성을 강조했다. 또한 Emerald AI의 Conductor 플랫폼은 그리드 신호에 따라 1분 이내로 우선순위가 낮은 작업을 중단하여 전력 사용량을 4MW에서 3MW로 줄이는 등 AI 팩토리를 전력망의 유연한 자원으로 활용하는 사례를 보여준다. NVIDIA는 차세대 Vera Rubin NVL72 팩토리에서 DSX MaxLPS를 적용하면 동일한 전력 예산 내에서 GPU 용량을 최대 40%까지 늘릴 수 있을 것으로 예측한다.