LLM, 필러 토큰으로 다단계 추론 학습 가능 입증

Pfau et al. (2024)의 주장을 반박하며, 점(filler tokens)과 같은 토큰을 사용하여 직렬 의존성이 있는 다단계 추론을 학습할 수 있음을 입증함.
수정된 학습 방식은 점을 입력, 오픈 추론을 출력으로 처리하여 모델이 가시적인 단어에 추론을 인코딩하지 않고도 어텐션을 통해 토큰 위치 간 정보를 이동할 수 있게 함.
Qwen3.6-35B-A3B와 gpt-oss-20b를 대상으로 한 실험 결과, 새로운 방식은 답변만 출력하는 베이스라인보다 명확히 우수한 성능을 보인 반면, 기존 Pfau et al. 방식은 베이스라인 대비 우위를 보이지 못함.
Opus 5.5 에이전트 스웜을 활용한 이론적 분석은 알고리즘 깊이가 작업 길이와 함께 증가하지만 단계 수보다 훨씬 느리게 증가함을 확인하여, 모델이 레이어 깊이를 초과하는 추론 단계를 처리하는 방식을 설명함.
실증적 한계 분석 결과, 큰 정보 패킷이 필요한 작업(예: 모듈러 연산, 함수 합성)은 필러 토큰을 통한 학습이 더 어렵고 모듈러 합은 쉬운 반면, HornQA는 매우 적은 단계에서도 실패함.
모델이 명시적 언어화 없이 추론 질문에 답하는 경우가 증가한다면, 루프 아키텍처가 없더라도 체인 오브 스코스(CoT) 모니터링 가능성이 위협받을 수 있음을 시사함.

핵심 내용