언어 모델이 환각(hallucination)을 일으키는 이유

**언어 모델(LLM)**의 환각은 그럴듯해 보이지만 사실이 아닌 정보를 생성하는 현상을 의미한다. OpenAI의 최신 연구에 따르면, 이러한 환각은 모델의 능력 문제뿐만 아니라 표준 학습 및 평가 절차가 불확실성을 인정하기보다 추측을 장려하기 때문에 발생한다.

현재의 많은 평가 방식은 모델이 정답을 맞혔는지(accuracy)만을 기준으로 점수를 매긴다. 이는 객관식 시험에서 모르는 문제를 비워두기보다 찍어서 맞히는 것이 유리한 것과 같다. 모델이 "모른다"고 답하면 0점을 받지만, 잘못된 답이라도 추측하면 확률적으로 점수를 얻을 수 있기 때문이다.

SimpleQA 평가 지표를 통해 gpt-5-thinking-mini와 OpenAI o4-mini를 비교하면 그 차이가 명확하다.

• gpt-5-thinking-mini: abstention rate(52%)가 높아 불확실성을 적극적으로 인정하지만, accuracy는 22%이다.
• OpenAI o4-mini: accuracy는 24%로 약간 높지만, error rate(75%)가 매우 높아 환각이 빈번하게 발생한다.

결국 정확도 위주의 리더보드는 개발자들이 모델이 불확실성을 드러내기보다 무리하게 추측하도록 유도한다. 이를 해결하기 위해서는 확신에 찬 오류에 더 큰 페널티를 부여하고, 적절한 불확실성 표현에 부분 점수를 주는 방식의 평가 체계가 필요하다.