사람들 AI confidence 과대평가

워털루대와 UCL 연구진은 Communications Psychology에 실린 7개 사전등록 실험(유효 N=52~113)에서 사람들이 인간과 AI에게 부여하는 confidence를 비교했다.

• 참가자들은 인간 또는 AI가 시각 지각 과제를 수행하는 장면을 보고, 각 주체가 얼마나 확신에 차 보이는지 평가했다.
• 정확도, 과제 난이도, 응답 속도는 confidence 판단을 바꿨지만, 같은 행동을 보여도 AI는 인간보다 더 자신감 있어 보였다.
• 이 편향은 시각 지각과 일반 지식 과제에서 재현됐고, 감정 분류처럼 주관성이 큰 과제에서는 약해졌다.
• 추가 조작에서는 이런 착시가 실제 성능보다 AI가 더 유능할 것이라는 사전 믿음에서 비롯된다는 점이 드러났다.

연구진은 ChatGPT·Gemini 같은 LLM 기반 대화형 에이전트가 confidence를 명시적으로 드러내지 않으면 사용자가 추천을 과신할 수 있다고 보고, 투명한 confidence 신호를 설계해야 한다고 강조했다.