AI 인프라 효율성의 궁극적 지표가 '와트당 성능'인 이유

AI 인프라에서 전력은 피할 수 없는 제약 요소다. 고정된 전력 예산 내에서 AI 팩토리가 생성할 수 있는 token의 양이 곧 기업의 수익성과 직결되기 때문이다. 따라서 조작이 불가능한 실질적 결과물인 **performance per watt(와트당 성능)**가 AI 인프라의 핵심 기반이 된다.

최신 프론티어 AI 모델들은 대부분 Mixture-of-Experts (MoE) 아키텍처를 채택하고 있다. 이러한 모델을 랙 규모(rack scale)에서 원활하게 서비스하기 위해서는 시스템과 소프트웨어 스택 전반에 걸친 정교한 공동 설계(codesign)가 필수적이다.

NVIDIA Blackwell NVL72 플랫폼은 이러한 요구사항을 충족하도록 설계되었으며, 기존 Hopper 세대 대비 압도적인 효율성을 제공한다.

• DeepSeek V4 Pro: Hopper 대비 최대 25배의 와트당 성능 제공
• GLM5.1: Hopper 대비 최대 20배의 와트당 성능 제공
• Kimi K2.6: Hopper 대비 최대 10배의 와트당 성능 제공

NVIDIA는 단일 수치 대신 Pareto curves를 통해 다양한 워크로드(지연 시간 최적화 vs 처리량 최적화)에 따른 최적의 운영 지점을 제시하며, DynoSim과 같은 도구를 통해 검증 전 최적의 지점을 찾을 수 있도록 지원한다.