AI Briefing#on-policy-distillation
#on-policy-distillation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#on-policy-distillation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
JOLT가 단일 모델로 교사와 학생을 공동 학습해 GRPO보다 정확도와 샘플 효율을 높였다
NVIDIA 연구팀, 오프라인 롤아웃 기반 Semi-OPD가 온정책 증류보다 17개 중 14개 사례에서 우월함을 입증했다.
FuriosaAI가 LLM 추론·학습·서빙 효율화를 다룬 ICML 2026 논문 4편을 발표했다.
On-Policy Distillation이 추론 모델 학습에 미치는 영향을 토큰 단위로 분석하는 진단 프레임워크를 제안한다.
Qwen, DeepSeek 등 최신 모델의 핵심 학습 기법인 On-policy distillation(OPD)을 소개한다.
저자는 SFT, RL, OPD를 분포 관점에서 비교하며 정책 기반 샘플링의 중요성을 강조했다.