적응형 사고: LLM은 잠재 공간에서 생각할 시점을 판단한다

LLM의 test-time compute는 답변 전에 chain-of-thought(CoT) 추론을 길게 허용하면 성능이 오를 수 있음을 보여줬지만, 어떤 질의에 얼마나 많은 추론 예산을 써야 하는지는 여전히 불분명했다. 여러 추론 경로의 합의 정도인 self-consistency를 추론 필요도의 대리 지표로 삼으면, 합의가 낮은 질문일수록 더 긴 사고가 필요하다는 신호를 얻을 수 있다.

**Sonata(Self-Consistency-Guided Adapter for Thinking Allocation)**는 오프라인 캘리브레이션 데이터셋으로 학습한 가벼운 adapter가 질의 prefill 단계의 마지막 레이어 hidden representations만 보고 self-consistency를 예측하게 만든다. 이 예측값으로 실제 추론 전에 추론 예산을 정하고, 추론 중 추가 오버헤드는 거의 없다. 한 번 학습한 어댑터는 다양한 태스크로 전이 가능하며, 기존 CoT compression과도 독립적으로 작동해 함께 적용하면 추가 효율을 낼 수 있다.

• Qwen3-8B, GPT-OSS-120B, Qwen3-235B-A22B, Intern-S1-mini에서 검증했다.
• AIME24, AIME25, GSM8K, MATH500, GPQA에서 **20%~80%**의 추론 토큰을 줄이면서 같은 정확도를 유지했다.
• 같은 토큰 비용으로는 최대 **5%**의 정확도 향상도 확인했다.