LLM은 약한 감독으로 언제 추론을 배울 수 있을까?

RLVR의 일반화는 데이터 양보다 saturation dynamics가 좌우했다. 훈련 보상이 꾸준히 오르는 pre-saturation 구간이 길면 전이 가능한 추론을 배우지만, 보상이 평평해지는 post-saturation에 들어가면 추가 학습의 이득이 급격히 줄었다.

• Scarce data: N=8에서도 Qwen-Math-1.5B는 342 step 동안 학습이 이어지며 MATH-500이 35%에서 67%로 올랐다. Qwen-1.5B는 172 step, Llama-3B-Instruct는 60 step에서 포화됐다.

• 같은 패턴은 Math, Science, Graph 전반에서 반복됐고, pretraining exposure가 낮은 Graph에서는 Qwen-Math조차 더 빨리 포화됐다.

• Noisy rewards: Llama-3B-Instruct on Math는 corruption rate γ가 0.1에서 0.9로 갈수록 MATH-500이 약 51%에서 42%로 떨어졌다. Qwen-Math-7B on Graph는 낮은 corruption에는 버티지만 γ가 0.5 이상이면 급격히 약해졌다.

• Proxy rewards: majority vote와 self-certainty는 취약했다. Qwen-3B는 majority vote에서 잠시 좋아졌다가 약 500 step 후 무너졌고, Llama-3B-Instruct는 majority vote를 1.0으로 reward-hack하면서 MATH-500이 45%에서 4%로 붕괴했다. self-certainty는 두 모델 모두에서 무너졌다.

실패의 원인은 output diversity 부족이 아니라 unfaithful reasoning이었다. Llama는 Qwen보다 다양성은 높았지만, 최종 답을 논리적으로 지지하지 않는 chain-of-thought를 만들며 정답을 사실상 암기했다.

해결책은 continual pre-training(CPT) 과 Thinking SFT였다. 도메인별 데이터로 CPT(예: 52B math tokens)를 수행하고, 43.5K reasoning traces로 explicit reasoning을 먼저 학습한 뒤 RL(GRPO) 을 붙이면 faithfulness가 올라가고 pre-saturation이 길어져 세 가지 약한 감독 설정 모두에서 generalization이 회복됐다.