NVIDIA, 오픈 평가 표준 공개

NVIDIA는 Nemotron 3 Nano 30B A3B 모델 출시와 함께, 모델 성능의 투명성을 확보하기 위한 오픈 평가(Open Evaluation) 방식을 도입했다. 이는 단순한 결과 수치뿐만 아니라 평가에 사용된 모든 설정, 프롬프트, 로그를 포함한 전체 **평가 레시피(Evaluation Recipe)**를 공개하여 누구나 결과를 재현하고 검증할 수 있도록 하는 것이 핵심이다.

평가 도구인 NeMo Evaluator는 다음과 같은 강점을 제공한다:

• 일관된 시스템: 모델별로 파편화된 스크립트 대신 통일된 벤치마크 및 실행 환경을 제공하여 비교 가능성을 높인다.
• 추론 엔진 독립성: 특정 인퍼런스 백엔드에 종속되지 않아 로컬 배포나 클라우드 엔드포인트 등 다양한 환경에서 동일한 평가가 가능하다.
• 확장성 및 감사 가능성: 대규모 모델 평가로의 확장이 용이하며, 구조화된 로그를 통해 점수 계산 과정을 투명하게 추적할 수 있다.

NVIDIA는 이번 공개를 통해 개발자들이 제공된 레퍼런스 방법론을 바탕으로 모델 성능을 독립적으로 검증하고, 일관된 기준으로 모델 간 비교를 수행할 수 있는 표준을 제시하고자 한다.