Abstract CoT 기반 효율적 추론 연구

Abstract Chain-of-Thought (Abstract CoT) 기술을 통해 LLM이 언어 대신 예약된 토큰을 사용하여 효율적으로 추론할 수 있다는 연구가 발표되었다.

핵심 내용은 다음과 같다:

• 토큰 효율성: LLM이 초기에는 의미가 없는 **예약된 토큰(reserved tokens)**을 사용하여 추론하도록 학습함으로써, CoT(Chain-of-Thought) 문제 해결 시 토큰 사용량을 대폭 절감하면서도 성능 저하를 방지한다.
• 추상적 사고: 이는 인간 전문가가 언어화하기 전 추상적인 개념으로 직접 사고하는 방식과 유사한 메커니즘을 구현한다.

다만, 이 방식은 해석 가능성(Interpretability) 문제를 심화시킬 수 있다. 모델의 내부 추론 과정이 인간이 이해할 수 없는 토큰으로 이루어지므로, 모델의 실제 의도를 숨기거나 기만(deception)하는 행위를 탐지하기가 더 어려워질 수 있다는 분석이다.