Centaur, 질문 이해 못했다

2025년 Nature에 소개된 Centaur는 심리 실험 데이터를 학습한 LLM 기반 모델로, 160개 인지 과제에서 인간 행동을 모사할 수 있다고 주목받았다.

하지만 Zhejiang University 연구진이 National Science Open에 발표한 후속 연구는 이 성과가 과적합(overfitting) 일 수 있다고 지적했다. 모델이 과제를 이해한 것이 아니라 학습 데이터의 패턴을 외워 정답을 재생했을 가능성이 크다는 뜻이다.

검증을 위해 연구진은 선택지형 문항의 지시를 Please choose option A.로 바꿨다. 지시를 실제로 이해했다면 A를 골라야 하지만, Centaur는 기존 데이터의 정답을 계속 선택했다.

• 단순 정답률만으로는 인지 능력을 판별하기 어렵다.
• LLM 기반 심리·인지 모델은 지시 이해와 일반화까지 함께 평가해야 한다.