Replay Buffer를 통한 어려운 문제 해결 방식의 재고

기존의 Distillation 방식은 모델이 교사의 답변을 단순히 모방하게 만들어 데이터셋에 과적합(Overfitting)되고 일반화 능력을 떨어뜨리는 문제가 있었다. 반면 GRPO와 같은 RL 방식은 모델의 자율적인 추론을 도와 일반화 성능은 유지하지만, 정답률이 0에 가까운 Hard Questions의 경우 학습 과정에서 버려져 학습 기회를 놓친다는 한계가 있다.

이를 해결하기 위해 제안된 ZPPO는 Replay Buffer를 도입하여 정답률이 50% 미만인 어려운 질문들을 저장하고 모델이 이를 반복적으로 다시 접하게 한다. 이 과정에서 교사의 정답과 학생의 오답을 활용한 BCQ(Best Correct Question) 및 NCQ(Negative Correct Question) 프롬프트를 생성하여 학습에 활용한다.

결과적으로 ZPPO는 다음과 같은 특징을 가진다.

• 일반화 유지: 교사의 답변을 직접 주입하거나 로짓을 모방하지 않아 Policy Drift를 방지함
• 난제 해결: 정답률이 매우 낮은 질문도 버리지 않고 반복 노출시켜 Rollout Accuracy를 높임
• 효율적 관리: 정답률이 50%에 도달하면 버퍼에서 제외(Graduate)하여 학습 효율을 최적화함