Hugging Face, Qwen3.8-27B SWE-bench Pro 점수 64.7% 달성

Introducing harness adapters: adapt your favorite model to your harness to improve performance and cost

·2026.11.20 09:00

핵심 내용

Hugging Face의 RL 어댑터가 Qwen3.8-27B 성능을 높이고 토큰 사용량을 줄였다

1 / 5

자세히 보기

  • Hugging Face가 특정 에이전트 하네스(Pi, OpenCode, Hermes Agent)에 맞춘 RL 학습을 통해 모델 효율성과 정확도를 높이는 하네스 어댑터를 공개함
  • Qwen3.8-27B에서 Pi 전용 어댑터는 SWE-bench Pro pass@1을 39.2%에서 64.7%로, Terminal-Bench 2.1을 39%에서 55%로 향상시킴
  • Terminal-Bench에서 평균 토큰 사용량은 2.9K에서 1.5K로 감소함
  • 세 가지 하네스를 결합한 슈퍼 어댑터는 평균 pass@1을 39.5%에서 49.0%로 높이고, 해결된 작업에서 도구 호출을 53–73%, 토큰을 44–60% 절감함
  • SWE-smith, SWE-Gym, Tasksmith로 구성된 데이터셋을 사용해 2xB200 GPU에서 TRL의 AsyncGRPOTrainer로 학습 파이프라인을 구축함

Technical Details

  • 검증기 정확도와 0.1 도구 효율성 보너스를 결합한 보상 함수로 rank 32의 LoRA 어댑터를 학습함
  • 슈퍼 어댑터 병합 시 업데이트 균형을 위해 가중치 0.5를 사용했으며, 1.0은 과적용과 성능 저하를 유발함
  • AutomationBench를 통한 분포 외(OOD) 테스트에서는 이전 효과가 제한적이었으며, 어댑터 성능은 베이스 모델(23.0%)과 유사함

Observations & Availability

  • 적응된 모델은 비사고(non-thinking) 모드에서 도구 호출 전 짧은 텍스트를 생성하는 '추론 누출(reasoning leakage)' 현상을 보임
  • 그럼에도 사고 모드 베이스 모델보다 효율적임
  • 전체 레시피, 파이프라인, 데이터셋을 오픈소스로 공개하여 커뮤니티 재현 및 다른 모델로의 적용을 지원함

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.