소형 LLM의 추론과 실행 분리 기술 연구

연구진은 추론(Reasoning)과 실행(Execution)을 분리하는 새로운 접근 방식을 제안한다. 수학, 코드, 형식 규칙 등 논리나 도메인 지식이 검증되어 입력되면, 고정된(Frozen) 12B 파라미터 모델이 새로운 입력에 대해 단계별 프로그램을 재실행한다.

이 방식의 주요 특징은 다음과 같다:

• 제로 토큰 오버헤드: 추가적인 토큰 생성 없이 기존에 검증된 로직을 재사용한다.
• 결정론적 결과: 비트 단위로 정확하고(bit-exact) 일관된 결과를 보장한다.
• 효율성: 소형 모델에서도 복잡한 논리적 단계를 정확하게 수행할 수 있도록 돕는다.

해당 연구의 상세 내용은 arXiv 논문을 통해 확인할 수 있다.