Epoch AI, AI의 알고리즘 혁신 능력 평가하는 InnovationEval 벤치마크 공개

Epoch AI가 AI의 진정한 알고리즘 혁신 발견 능력을 평가하는 벤치마크 InnovationEval을 공개했습니다. 이 벤치마크는 AI 에이전트가 2026년 초 기준 분야 내에서 새로운 것으로 인정받을 수 있는 사후 학습(post-training) 방법을 개발해 강력한 GRPO 기준선을 능가해야 하며, 그 결과가 우수 논문 수준이어야 하는 과제를 제시합니다.

벤치마크 구조 및 제약 사항

성공을 위해 단순 최적화나 데이터 조작이 아닌 진정한 혁신이 필요하도록 평가 범위를 제한했습니다. 에이전트는 verl/ 디렉터리 내에서 손실 함수, 업데이트 및 롤아웃에 영향을 미치는 알고리즘적 변경만 수행할 수 있습니다. 인프라, 학습 데이터, 하이퍼파라미터 튜닝은 고정되거나 금지되어 부정행위를 방지합니다.

• 범위: 손실 업데이트 및 롤아웃 로직의 알고리즘적 변경으로 제한됩니다. 롤아웃 엔진, 샤딩, 보상 관리자 등 인프라 구성 요소는 고정됩니다.
• 자원: 인터넷이 차단된 샌드박스에서 Modal GPU 실행을 사용합니다. 질문 답변과 코딩 두 영역으로 구성되며, 각 영역이 점수의 50%를 차지합니다.
• 채점: 원본 SDPO 논문(참고)의 성능에 도달하거나 초과하면서 기본 제공된 GRPO 기준선을 능가하는 것이 목표입니다. 특정 학습 시간 지점(참고 초 기준 1시간 및 5시간)에서의 홀드아웃 테스트 결과를 바탕으로 점수를 산정합니다.

불확실성 및 향후 전망

출처에 따르면 향후 모델이 의미 있는 AI 알고리즘 혁신을 독립적으로 발견할 시기는 현재 불확실합니다. 다만 1년 전의 선도 모델들은 훨씬 낮은 성과를 보였을 것이라 언급하며 빠른 능력 향상을 시사합니다. Epoch AI는 암기 효과를 고려해 과제를 갱신하고, 자동화된 AI 연구 개발 진전을 추적하기 위해 주기적으로 유사한 평가를 재실행할 계획입니다.