AI BriefingSebastian Raschka, Qwen3 0.6B GRPO 실험: KL 항 포함 시 100단계에서 0.4%로 붕괴, 제거 시 47.4% 달성
Qwen3 0.6B로 평가부터 GRPO, 증류까지 설명하는, 추론 모델을 PyTorch로 직접 만드는 11시간 영상 강의 (feat. Sebastian Raschka)
·2026.10.28 08:30
핵심 내용
Qwen3 0.6B로 GRPO 학습 시 KL 항 제거가 성능 붕괴 방지와 효율 향상에 핵심임을 확인했다.
자세히 보기
- Sebastian Raschka가 PyTorch로 추론 모델을 직접 구현하는 11시간 분량 영상 강의와 코드를 공개함
- MATH-500 벤치마크에서 Qwen3 0.6B 기본 모델(15.2%)이 KL 항 제거 GRPO 50단계 학습 후 47.4%로 향상됨
- 원래 GRPO 설정(KL 항 포함)은 100단계 학습 시 0.4%로 성능이 붕괴하는 현상 확인
- 추론 시점 스케일링(CoT, 자기 일관성) 적용 시 기본 모델 정답률이 52.0%까지 상승했으나 소요 시간이 85배 증가함
- 증류(Distillation) 과정에서는 교사 모델 데이터 선택이 에포크 수보다 결과에 더 큰 영향을 미침
- Qwen3 235B A22B 데이터 1에포크 증류 시 45.0% 달성, H100 1장으로 약 30분 학습 가능
- 대상은 Python 및 PyTorch 숙련자이며, 수학 문제 등 기계적 검증이 가능한 과제에 한정됨
- 코드는 Apache 2.0 라이선스로 GitHub에 공개되어 상업적 사용 가능
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
