AI 과학자들, 과학적 추론 없이 결과

LLM 기반 AI 과학자들을 8개 도메인에서 25,000회 이상 평가한 결과, 과학적 탐구의 자기 수정 패턴이 거의 드러나지 않았다.

• 증거를 수집한 뒤에도 **68%**는 이를 무시했다.
• 반증 데이터가 나와도 가설을 바꾼 경우는 **26%**에 그쳤다.
• 워크플로 실행과 가설 주도 탐구 모두에서 행동 패턴은 크게 달라지지 않았다.

성과 분해에서는 base model이 설명된 분산의 **41.4%**를 차지한 반면, scaffold 영향은 **1.5%**에 그쳤다. ReAct, structured tool-calling, chain-of-thought 같은 scaffolding 개선만으로는 이 문제를 해결하지 못한다는 결론이다.