ThinkingBox RL 학습으로 Qwen3.8-27B 신뢰성 21.10% 달성

• Microsoft가 실행 가능한 데이터베이스 상태 검사를 바이너리 강화학습 보상으로 변환하여 에이전트 후학습(post-training)을 지원하는 ThinkingBox 학습 스택을 공개함
• Qwen3.8-27B 모델을 24개 H100 GPU에서 GRPO로 50스텝 파인튜닝하여 평균 성공률(pass@1)을 51.70%에서 60.78%로, 20회 시도 중 20회 모두 성공한 비율(Observed 20/20)을 7.50%에서 21.10%로 향상시킴
• Observed 20/20 지표의 큰 폭 상승을 통해 모델의 반복성(repeatability)이 개선되었음을 확인함
• 신뢰할 수 있는 태스크(20/20 pass)당 비용이 $24.36에서 $8.00으로 감소함

Technical Methodology

• 오프라인 정책 상대적 난이도(policy-relative difficulty)를 활용해 학습 풀을 필터링하여, GRPO의 유효한 어드밴티지 신호 생성을 위해 성공과 실패 결과가 혼합된 그룹을 구성함
• 보상 신호는 데이터베이스 상태 및 부수 효과에 대한 결정론적 종단 상태 검사를 기반으로 하며, 소수의 좁은 범위의 평가 기준(rubric) 요구사항은 LLM 판정기(judge)가 처리함
• DAPO 방식의 방법을 적용해 분산이 0인 그룹을 대체하고, 백엔드 타임아웃은 실패로 점수화하지 않고 재충전(refill)하여 학습 안정성을 유지함

Evaluation and Availability

• ThinkingBox-Bench(507개 태스크) 평가는 RL 학습 풀에서 벤치마크 도메인과 데이터베이스를 제외했으므로 분포 외(out-of-distribution) 평가임
• 코드는 MIT 라이선스로 GitHub에서 제공되며, 벤치마크 데이터는 CDLA-Permissive-2.0 라이선스로 공개됨
• Microsoft Copilot Studio 팀, Toloka, 그리고 University of Pittsburgh, Northwestern University, Columbia University, UC Irvine의 연구자들이 공동으로 진행한 프로젝트임