추론 모델의 구조적 한계: Verbosity ≠ Faithfulness
Verbosity is not faithfulness: an architectural argument that reasoning models cannot perform faithful inference [D]
·2026.05.27 00:33
추론 모델의 사고 과정과 최종 답변이 동일 연산에서 생성되기에, 사고 과정이 답변의 충실성을 보장할 수 없다는 주장이다.
추론 모델의 **사고 과정(reasoning trace)**과 최종 답변이 동일한 연산 과정에서 생성된다는 점을 근거로, 현재의 추론 모델이 **충실한 추론(faithful inference)**을 수행할 수 없다는 구조적 한계를 지적한다.
주요 논거는 다음과 같다:
- Verbosity vs. Faithfulness: 모델이 길게 설명하는 것(Verbosity)이 반드시 논리적 추론 과정이 답변에 실제 반영됨(Faithfulness)을 의미하지는 않는다.
- 구조적 결함: 사고 과정과 결과가 하나의 연산 흐름 안에 있기 때문에, 사고 과정은 단순히 답변을 수식하는 '장식'일 뿐 실제 추론의 동력이 아닐 수 있다.
- 기존 연구와의 비교: Lanham, Turpin, Mirzadeh 등의 실증적 비판을 검토하며, HRM, TRM, GRAM, AlphaProof 등 서로 다른 아키텍처 계보를 통해 이 문제를 분석한다.
결론적으로, 현재의 LLM 추론 방식이 논리적 단계를 밟는 것처럼 보여도, 실제로는 답변을 정당화하기 위한 사후적인 설명에 그칠 위험이 있음을 경고한다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.