AI 에이전트로 ICML 논문 2,200편 재현 실험

HuggingFace는 1,200명 이상의 커뮤니티 멤버가 참여한 해커톤을 통해 ICML 논문 2,226편(전체 컨퍼런스의 약 34%)을 AI 에이전트로 재현하는 대규모 실험을 진행했다.

실험 방식 및 도구

• 참가자들은 Claude Code, Cursor, Codex 등의 코딩 에이전트를 활용해 논문의 핵심 주장을 추출하고, 실험 코드를 작성 및 실행하여 결과를 보고했다.
• 모든 실험 과정은 Trackio logbook에 기록되었으며, 오픈 웨이트 모델인 GLM-5.2가 자동 판독기 역할을 수행하여 각 주장의 검증(Verified), 허위(Falsified), 미흡(Toy), 불확실(Inconclusive) 여부를 판정했다.

주요 결과

• 51%의 논문: 최소 하나 이상의 주장이 독립적으로 검증됨.
• 23%의 논문: 주장이 허위로 판명되었거나 논란의 여지가 있음.
• 특히 242개의 논문에서는 서로 다른 재현 팀이 동일한 주장에 대해 상반된 판정을 내리는 등, 재현 가능성이 단순한 이분법적 문제가 아님을 보여주었다.

이번 실험은 AI 연구 논문의 급증에 대응하여, AI 에이전트가 연구 검증 및 재현 프로세스를 자동화함으로써 연구의 신뢰성을 확보하는 데 기여할 수 있음을 시사한다.