Hugging Face, Qwen3.8-27B SWE-bench Pro 점수 64.7% 달성
Introducing harness adapters: adapt your favorite model to your harness to improve performance and cost
·2026.11.20 09:00
핵심 내용
Hugging Face의 RL 어댑터가 Qwen3.8-27B 성능을 높이고 토큰 사용량을 줄였다
자세히 보기
- Hugging Face가 특정 에이전트 하네스(Pi, OpenCode, Hermes Agent)에 맞춘 RL 학습을 통해 모델 효율성과 정확도를 높이는 하네스 어댑터를 공개함
- Qwen3.8-27B에서 Pi 전용 어댑터는 SWE-bench Pro pass@1을 39.2%에서 64.7%로, Terminal-Bench 2.1을 39%에서 55%로 향상시킴
- Terminal-Bench에서 평균 토큰 사용량은 2.9K에서 1.5K로 감소함
- 세 가지 하네스를 결합한 슈퍼 어댑터는 평균 pass@1을 39.5%에서 49.0%로 높이고, 해결된 작업에서 도구 호출을 53–73%, 토큰을 44–60% 절감함
- SWE-smith, SWE-Gym, Tasksmith로 구성된 데이터셋을 사용해 2xB200 GPU에서 TRL의 AsyncGRPOTrainer로 학습 파이프라인을 구축함
Technical Details
- 검증기 정확도와 0.1 도구 효율성 보너스를 결합한 보상 함수로 rank 32의 LoRA 어댑터를 학습함
- 슈퍼 어댑터 병합 시 업데이트 균형을 위해 가중치 0.5를 사용했으며, 1.0은 과적용과 성능 저하를 유발함
- AutomationBench를 통한 분포 외(OOD) 테스트에서는 이전 효과가 제한적이었으며, 어댑터 성능은 베이스 모델(23.0%)과 유사함
Observations & Availability
- 적응된 모델은 비사고(non-thinking) 모드에서 도구 호출 전 짧은 텍스트를 생성하는 '추론 누출(reasoning leakage)' 현상을 보임
- 그럼에도 사고 모드 베이스 모델보다 효율적임
- 전체 레시피, 파이프라인, 데이터셋을 오픈소스로 공개하여 커뮤니티 재현 및 다른 모델로의 적용을 지원함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.