NVIDIA AI-Q, DeepResearch Bench 1위

NVIDIA의 AI-Q Blueprint가 Hugging Face의 DeepResearch Bench 'LLM with Search' 리더보드에서 1위를 차지했다. 이 블루프린트는 오픈 소스 모델만으로도 폐쇄형 모델에 필적하는 고도의 에이전트 워크플로우를 구현할 수 있음을 증명했다.

핵심 기술 스택

• Llama 3.3-70B Instruct: 구조화된 보고서 생성을 위한 기반 모델.
• Llama-3.3-Nemotron-Super-49B-v1.5: NAS(Neural Architecture Search)와 지식 증류로 최적화된 모델로, 멀티스텝 추론, 도구 사용, 성찰(reflection) 능력이 뛰어나다.
• NVIDIA NeMo Retriever & Agent toolkit: 멀티모달 검색 및 복잡한 에이전트 워크플로우 오케스트레이션을 담당한다.

Llama Nemotron의 강점

• 추론 모드 지원: 시스템 프롬프트를 통해 일반 채팅 모드와 심층 사고(Chain-of-Thought) 모드를 전환할 수 있다.
• 효율적 배포: 49B 파라미터와 128K 컨텍스트 윈도우를 지원하며, 단일 H100 GPU에서 효율적으로 구동 가능하다.

벤치마크 결과 AI-Q는 환각 탐지, 다중 소스 합성, 인용 신뢰성 및 RAGAS 지표를 통해 검증되었다. 100개 이상의 실무 연구 과제를 다루는 DeepResearch Bench에서 종합 점수 40.52점을 기록하며, 완전 오픈 라이선스 스택 중 최고 성능을 달성했다.