LLM의 확률적 신념 갱신은 베이지안 원칙과 불일치, 비베이지안 휴리스틱이 더 나은 성능 보여

현대 AI 시스템은 의료, 과학, 법률 등 단일 정답이 없는 복잡한 영역에 배포되고 있어, 새로운 증거가 들어올 때 불확실한 신념을 합리적으로 갱신할 수 있어야 한다. 연구진은 LLM을 정보 처리 규칙으로 간주하고, **베이지안 갱신(Bayes updates)**로부터의 편차인 '정보 처리 격차(information processing gap)'를 측정하여 LLM 내부의 확률적 신념 불일치(inconsistencies)를 정량화했다.

베이지안 원칙과 LLM의 불일치

실험 결과, LLM이 증거를 신념에 반영하는 여러 방식 중 일부는 거의 완벽한 베이지안 갱신을 수행하여 증거를 최적화하여 처리하는 반면, 다른 방식들은 학습된 휴리스틱(heuristic)을 사용하는 것으로 나타났다. 주목할 점은 비베이지안 휴리스틱 갱신이 하위 작업(downstream task) 성능 측면에서 정확한 베이지안 갱신(최적의 정보 처리)보다 종종 더 나은 결과를 보였다는 것이다.

이러한 현상은 LLM의 세계 모델이 **잘못 지정(misspecified)**되어 있음을 시사한다. 즉, LLM이 이론적으로 최적이라고 알려진 베이지안 방식보다 자체적으로 학습한 휴리스틱 방식을 사용할 때 더 높은 정확도를 달성하는 경우가 많다는 뜻이다. 연구진은 이러한 측정 지표가 LLM 기반 추론 시스템의 문제를 진단하는 데 유용하게 쓰일 수 있음을 입증했다.