Google, 증거 잇는 연구 에이전트

Google 연구팀은 자율 연구 에이전트가 생성한 논문의 검증 가능성(verifiability) 을 아키텍처 수준에서 보장하는 ScientistOne 시스템과 Chain-of-Evidence(CoE) 프레임워크를 제안했다.

CoE는 논문의 모든 주장이 기록된 증거 사슬을 통해 기반 출처까지 추적되도록 설계한다. 핵심 기준은 다음 두 가지다.

• 완전성(Completeness): 모든 주장에 증거 사슬이 연결돼야 한다.
• 정확성(Correctness): 연결된 증거가 해당 주장을 실제로 뒷받침해야 한다.

연구팀은 문헌 조사, 가설 수립, 실험, 코드, 결과 보고가 이어지는 자율 연구 파이프라인에서 초기 오류가 이후 단계로 전파·증폭될 수 있다고 지적했다. 기존 연구 시스템과 벤치마크는 논문 완성도나 실험 수행력은 평가하지만, 개별 주장과 실행 산출물의 연결 여부까지는 검증하지 못한다.

5개 시스템이 작성한 75편의 논문을 감사한 결과, 모든 베이스라인에서 체계적인 실패가 발견됐다. 환각 참고문헌 비율은 최대 20.9%, 점수 검증 통과율은 최저 42%, 방법론과 코드의 정합성은 20~80% 범위였다.

반면 ScientistOne은 다음 결과를 보고했다.

• 환각 참고문헌: 0/337
• 점수 검증: 12/12
• 방법론·코드 정합성: 14/15

이 연구는 자율 연구 시스템의 평가 기준을 유창한 원고와 실험 성공 여부에서 주장별 증거 추적성과 재현성 으로 확장했다는 점에서 의미가 있다.