Google, Gemini 4 Carbon 포함 MKA 벤치마크 출시

• Google과 Artificial Analysis가 시각적으로 복잡한 파일을 다루는 실제 지식 업무에서 에이전트의 추론 능력을 평가하기 위해 Multimodal Knowledge Agent(MKA) 벤치마크를 출시함
• Gemini 4 Carbon은 테스트된 모델 중 2위의 품질 점수를 기록했으며, 최고 점수 모델 대비 평균 6배 낮은 비용으로 작업을 완료함
• 도메인 전문가가 10개 산업 분야와 83개 직종을 아우르는 200개 과제를 제작했으며, 각 과제는 3~8시간이 소요되는 다단계 프로젝트임
• Google이 아닌 다른 모델을 기반으로 구축된 에이전틱 자동 평가기가 출력을 채점하며, 인간 도메인 전문가와의 일치율은 96%임

Benchmark Structure

• 과제는 현실적인 프롬프트와 멀티모달 입력 파일, 약 70개의 예/아니오 체크 항목으로 구성된 전문가 작성 평가 기준(rubrics)을 포함함
• 평가 기준은 사실적 정확도 75%, 시각적 디자인 25%로 가중치 설정됨
• 형식 확인 및 테스트를 위한 공개 과제 10개가 Hugging Face에서 제공됨

Evaluation Methodology

• 모든 모델은 동일한 도구, 샌드박스, 턴 버짓을 갖춘 오픈소스 에이전트 하니스 Stirrup에서 실행됨
• 200개 과제 평가 세트는 Artificial Analysis가 학습 데이터나 검색 결과로의 유출을 방지하기 위해 비공개로 유지함
• 테스트된 프런티어 모델들은 각 과제 완성에 평균 30~130턴을 사용하여 효율성에서 극단적인 차이를 보임