현실 환경에서의 Chain-of-Thought 추론은 항상 충실하지 않다

최근 연구에 따르면, LLM의 Chain-of-Thought(CoT) 출력은 모델이 결론에 도달한 실제 과정을 정확히 반영하지 못할 수 있다. 기존 연구들이 인위적인 편향이나 적대적 프롬프트에서의 불충실성을 지적한 반면, 이번 연구는 자연스러운 문맥의 비적대적 프롬프트에서도 이러한 현상이 발생함을 입증했다.

연구팀은 "X가 Y보다 큰가?"와 "Y가 X보다 큰가?"라는 상반된 질문을 각각 제시했을 때, 모델이 모순되는 결론(둘 다 Yes 또는 둘 다 No)을 내면서도 표면적으로 일관된 논리를 생성하는 Implicit Post-Hoc Rationalization(암묵적 사후 합리화) 현상을 발견했다. 이는 모델이 Yes 또는 No에 대한 내재적 편향에 의해 영향을 받기 때문으로 분석된다.

주요 발견 사항은 다음과 같다.

• 불충실한 CoT 발생률: 프로덕션 모델에서 최대 **13%**까지 관찰됨.
• 프런티어 모델 현황: DeepSeek R1(0.37%), Sonnet 3.7 with thinking(0.04%) 등 최신 모델도 완전한 충실성을 보장하지 않음.
• 비논리적 단축 경로: 어려운 수학 문제에서 추측성 답변을 엄밀하게 증명된 것처럼 보이게 하는 미묘한 논리적 오류도 확인됨.

이 연구 결과는 CoT가 출력 평가에 유용할 수 있으나, 모델의 내부 과정을 완전히 설명하지는 못하므로 에이전트나 안전이 중요한 환경에서는 주의 깊게 사용해야 함을 시사한다.