NVIDIA, AI 에이전트 평가 지표 재정의

NVIDIA 기술 블로그는 AI 에이전트 평가가 정적 벤치마크의 도구 호출 정확도에서 실제 서비스 환경을 반영하는 과업 완수(Task Completion) 중심으로 전환되어야 한다고 주장했다. 기존 하네스(lm-evaluation-harness 등)는 단일 함수 호출의 문법적 정확성만 채점하여, 절차 누락이나 컨텍스트 실패를 포착하지 못하는 한계가 있었다.

평가 지표의 다차원화

단순 성공률 외에도 **일관성(Consistency)**과 **비용(Cost)**을 함께 고려해야 한다. 3~5회 시행을 통해 성공률 범위(예: 82~88%)를 보고하여 변동성을 파악하고, 병렬 도구 호출 시 단계 수 감소가 반드시 비용 감소로 이어지지 않는 점을 주의해야 한다. 또한, 같은 모델이라도 실행 환경(Harness)에 따라 성공률과 비용이 크게 변동하는 Harness Tax 현상을 고려해 표준화된 비교 기준이 필요하다.

Nemotron 3.5 Lightning 사례

NVIDIA의 최신 모델 Nemotron 3.5 Lightning(활성 3B, 총 30B, Mamba-2/MoE 하이브리드)은 이러한 평가 관점에서 성능을 입증했다. PinchBench에서 Qwen3.6 35B와 유사한 정확도(약 86%)를 기록하면서도, 10,000개 과업 처리 시간을 30% 단축했다. 이는 도구 호출의 정밀도보다 실제 업무 완수 속도와 효율성이 중요한 실무 환경에서 경쟁력을 가짐을 시사한다.

실무 적용 가이드

개발자는 공개 벤치마크 점수만 의존하지 말고, 자체 도메인 워크로드에 대해 환경 상태 기반 게이트(DB 상태 확인 등)를 설정해야 한다. 모델 교체 시에는 성공률 범위의 겹침 여부와 성공당 비용(총 토큰/성공 과업 수)을 계산하여 실질적인 효율성을 검증하는 것이 권장된다.