On-policy distillation(OPD) 기술 소개

**On-policy distillation (OPD)**는 Qwen 3.6/3.7, GLM-5.1, DeepSeek-V4와 같은 최신 고성능 모델의 포스트 트레이닝(post-training)에 사용되는 핵심 기술이다.

기존 방식은 모델이 추론 과정(rollout) 중 오류를 범했을 때, 전체 경로에 퍼져 있는 노이즈 섞인 보상(reward) 신호에만 의존해야 하는 한계가 있었다. OPD는 이를 다음과 같은 방식으로 해결한다.

• 오류 지점 식별: 별도의 모델이 추론 경로를 읽고 오류가 발생한 정확한 지점을 찾아낸다.
• 힌트 토큰 삽입: 오류가 발생한 지점 바로 위에 **힌트 토큰(hint tokens)**을 삽입한다.
• 효율적 학습: 새로운 디코딩(decode) 과정 없이 포워드 패스(forward pass)만 수행한다. 삽입된 힌트는 모델이 오류 토큰에 낮은 확률을 할당하도록 유도하며, 모델은 이 확률 분포를 학습하여 특정 실수를 효과적으로 줄여나간다.