AI Briefing#self-distillation
#self-distillation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#self-distillation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
외부 교사 없이 자체 생성 데이터로 LLM 성능을 향상시키는 온폴리시 셀프트레이닝을 입증했다
RISED가 루브릭 기반 데이터 선택과 자기 증류로 다양한 환경에서 최고 평균 통과율을 달성했다.
UniEvo-VL은 자가 비판을 학습 신호로 활용해 Qwen-image-2512의 GenEval 점수를 0.747에서 0.808로 개선했다.
GLM 5.2가 실제 사용자 세션 데이터를 활용한 RFT와 Hint-guided Self-distillation 결합 학습으로 Tool-call 실패율을 21.2% 낮췄다.
기존 모델을 인과적 인코더-디코더 구조로 변환하는 모델 그래프팅 기법을 적용해 Qwen3.5-4B의 프롬프트 처리 속도를 최대 3.7배 높였다.
LLM이 자신의 출력만으로 검증기나 별도 학습 없이 코드 생성 능력을 크게 향상시킬 수 있다.
Self-Distillation Fine-Tuning으로 데모 학습의 망각을 줄였다.
NTM은 reverse step을 normalizing flow로 학습해 4-step 생성과 exact likelihood를 함께 노린다.
별도의 교사 모델이나 강화학습 없이 모델 자신의 출력물만 활용하는 셀프 증류(SSD) 기법이 LLM의 코드 생성 성능을 크게 향상시켰다.