NVIDIA Blackwell, 최초의 에이전트 AI 인프라 벤치마크에서 1위 차지

Artificial Analysis가 발표한 최초의 에이전트 AI 벤치마크인 AgentPerf 결과에 따르면, NVIDIA Blackwell Ultra NVL72 플랫폼이 테스트된 모든 에이전트 AI 워크로드에서 선도적인 성능을 달성했다. 특히 NVIDIA GB300 NVL72는 NVIDIA HGX H200 시스템보다 전력(Watt)당 최대 20배 더 많은 에이전트를 구동할 수 있는 효율성을 보여주었다.

에이전트 AI는 단일 LLM 호출로 응답하는 기존 대화형 AI와 달리, 목표 달성을 위해 여러 단계의 LLM 호출과 도구(Tool) 호출을 반복하는 릴레이 방식의 워크로드다. 이 과정에서 컨텍스트가 기하급수적으로 증가하며 계산 복잡도가 배가되기 때문에, 기존의 단일 호출 기반 벤치마크로는 실제 성능을 측정하기 어렵다.

NVIDIA의 성능 우위는 풀스택 설계(Full-stack co-design)에서 비롯된다:

• GB300 NVL72: 72개의 GPU를 단일 랙 규모의 시스템으로 연결하여 DeepSeek V4 Pro와 같은 대규모 MoE 모델의 실행을 효율적으로 분산한다.
• CUDA 커널: 통신과 연산을 중첩(Overlap)시켜 전문가(Expert) 간의 조정 비용을 지연 시간(Latency)에 추가하지 않고 흡수한다.
• NVIDIA TensorRT LLM: 입력 처리와 출력 생성을 분리하여 동시 에이전트 세션이 확장되어도 효율성을 유지한다.

AgentPerf는 실제 코딩 에이전트의 궤적(Trajectory)을 기반으로 설계되었다. 12개 이상의 프로그래밍 언어에서 추출된 실제 공개 코드 저장소의 데이터를 활용하여, 에이전트가 파일을 읽고, 코드를 작성·수정하며, 명령을 실행하고 반복하는 실제 워크플로우를 반영한다.