다양한 추론 경로를 통한 LLM의 의사결정 능력 향상

Amazon 연구진은 LLM이 단일 추론 경로에 의존하지 않고 다양한 추론 방식을 생성할 수 있도록 하는 **SSFT(Set-Supervised Fine-Tuning)**와 GFPO(Global Forking Policy Optimization) 기술을 선보였다.

기존의 지도 미세 조정(SFT) 방식은 하나의 정답 경로만 학습하기 때문에 모델의 추론 능력이 제한적이었다. 이를 해결하기 위해 연구진은 global forking tokens를 도입하여 모델이 각기 다른 추론 모드를 가질 수 있도록 유도했다.

주요 기술은 다음과 같다:

• SSFT (Set-Supervised Fine-Tuning): 추론을 단일 경로가 아닌 완성된 솔루션 경로의 집합으로 모델링한다. 이분 매칭(bipartite matching)을 통해 각 경로를 전용 토큰에 할당함으로써, 모델이 특정 패턴으로 수렴하는 '모드 붕괴(mode collapse)' 현상을 방지한다.
• GFPO (Global Forking Policy Optimization): 강화 학습 패러다임을 통해 모델이 특정 문제 상황에서 어떤 추론 전략을 채택해야 하는지 스스로 결정할 수 있도록 학습시킨다.

이러한 접근법을 통해 AIME 2025 및 LiveCodeBench와 같은 표준 벤치마크에서 단일 샷(single-shot) 정확도가 5%에서 7% 향상되는 성과를 거두었다.