그러므로 나는 존재한다. 나는 생각한다

대규모 언어 모델(LLM)이 추론할 때, 생각을 먼저 하고 결정하는지 아니면 결정을 먼저 내린 후 생각을 하는지에 대한 연구 결과가 발표되었다.

연구 결과, reasoning model은 텍스트로 추론(Chain-of-Thought)을 시작하기도 전에 이미 내부 활성화(activation) 단계에서 도구 호출(tool-calling) 결정을 내리는 것으로 나타났다. 단순한 linear probe를 통해 생성 전 활성화 상태에서 매우 높은 신뢰도로 결정을 디코딩할 수 있으며, 어떤 경우에는 단 하나의 추론 토큰이 생성되기도 전에 결정이 확인되었다.

Activation steering을 통한 인과 관계 분석에서도 이 현상이 입증되었다. 결정 방향을 인위적으로 조절하면 추론 과정이 길어지거나 행동이 바뀌는데(모델 및 벤치마크에 따라 7~79%), 이때 모델은 바뀐 결정에 맞춰 기존의 추론 과정을 **사후 합리화(rationalize)**하는 경향을 보였다.

이러한 결과는 추론 모델이 텍스트로 논리를 전개하기 전에 이미 행동 선택을 내부적으로 인코딩할 수 있음을 시사한다.