AI 에이전트, 개방형 과학 발견에서 62.7% 재발견률 기록

Station 프레임워크는 AI 에이전트가 개방형 과학적 발견을 자율적으로 수행할 수 있음을 입증했다. 원본 연구 결과의 평균 재발견률은 **62.7%**로, Codex Multiagent-v2(15.4%)와 AI Scientist-v2(14.4–20.6%)를 크게 앞섰다.

지속적 탐색을 위한 메커니즘

개방형 작업에서 중간 지표가 부족한 문제를 해결하기 위해 Station은 두 가지 핵심 메커니즘을 도입했다.

• Supervisor 메커니즘: 에이전트 행동을 안내한다.
• 주기적 Meta Reflection: 지속적 탐색을 장려한다.

이러한 기능은 연구 범위와 연속성을 개선하며, Ablation 및 행동 분석을 통해 확인되었다.

평가 방법론

연구진은 ICLR에서 발표된 최근 구두 발표 논문 3편을 바탕으로 개방형 작업을 구성했다. 에이전트에게는 주요 연구 질문만 제공되고, 논문의 결과와 웹 접근 권한은 제한되었다. 연구는 에이전트가 원본 발견의 개별 기준 중 몇 가지를 재발견했는지를 측정했다.

실제 검증

벤치마크 논문 외에도, Station은 오라클 논문이 없는 두 가지 개방형 작업에서 평가되었다. 일부 에이전트의 발견은 모델의 지식截止日期 이후 연구자들이 보고한 결과와 밀접하게 일치했으며, 이는 자율적 과학 탐구의 의미 있는 진전을 시사한다.