AI BriefingMicrosoft, ThinkingBox-Training 공개: Qwen3.8-27B 반복 성공률 2.8배 향상
ThinkingBox-Training 공개: DB 상태 채점 시 강화 학습 보상으로 매번 성공하는 과제 수를 2.8배 ↑
·2026.10.27 18:30
핵심 내용
Qwen3.8-27B의 20회 연속 성공 과제가 38개에서 107개로 늘었다.
자세히 보기
- Microsoft와 Hugging Face가 DB 상태 판정을 강화 학습 보상으로 쓰는 ThinkingBox-Training을 오픈소스로 공개함
- Qwen3.8-27B를 GRPO로 50스텝 학습 시 20회 연속 성공 과제가 38개(7.50%)에서 107개(21.10%)로 2.8배 증가함
- 과제당 반복 성공 비용이 $24.36에서 $8.00으로 67.2% 감소했으나, pass@20은 89.35%에서 87.97%로 하락함
- 2026년 10월 25일 기준 필수 데이터 저장소 접근 불가로 즉시 재현이 불가능한 상태임
학습 메커니즘 및 설정
- GRPO 알고리즘을 사용해 성공과 실패가 섞인 과제만 선별하여 학습 신호를 확보함
- 오프라인 정책 상대 난이도를 Jeffreys 사전분포 기반 사후분포로 추정하여 난이도 구간을 필터링함
- H100 24장(3노드) 환경에서 AdamW 옵티마이저와 Verl 0.9.0 프레임워크를 활용함
모델 비교 및 비용 분석
- 학습 후 Qwen3.8-27B의 pass@1은 60.78%로 상승했으나, Claude Opus 5.5(67.16%)와 GPT-5.4(65.36%)에는 미치지 못함
- 반복 성공(20회 모두 성공) 지표에서는 GPT-6 Astra(231개)와 Claude Opus 5.5(241개)가 여전히 우위를 점함
- 소매 도메인의 20회 연속 성공 비율이 24.5%에서 49.0%로 가장 크게 상승함
한계 및 재현 조건
- 확률 분포가 반복적으로 통하는 경로로 몰리는 샤프닝(sharpening) 현상으로 결과 해석됨
- 벤치마크 데이터는 평가 전용으로 제한되어 학습 재현 시 별도 과제 준비가 필요함
- 논문과 블로그 간 평가 설정(최대 길이, 파서) 및 오류 처리 방식에 불일치가 존재함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
