Google Research, 에이전트 성능 최대 11.5점 높이는 재귀적 프레임워크 Harness² 공개

Google Research가 모델 가중치 대신 AI 모델을 둘러싼 시스템을 최적화하는 재귀적 에이전트 하네싱 프레임워크 Harness²를 오픈소스로 공개했다. 이 프레임워크는 두 단계의 재귀 구조를 통해 작동한다. 태스크 수준 재귀는 Propose–Probe–Compose 단계를 통해 특정 태스크의 실행 하네스를 정제하며, 하네싱 수준 재귀는 이전 태스크에서 학습한 교훈을 반영해 지속 가능한 개선 하네스를 업데이트한다.

핵심 메커니즘

프레임워크는 프롬프트, 도구, 메모리, 오케스트레이션으로 구성된 하네스를 주요 최적화 대상으로 삼는다. 시스템 프롬프트, 가드레일, 메모리, 도구 가이드, 서브에이전트, 스킬, 스크립트, 플러그인 등 8개의 편집 가능한 컴포넌트를 노출하여 컨텍스트 구성, 도구 인터페이스, 도구 루프 내 동작을 제어한다.

태스크 수준 재귀는 하네스 편집을 제안하고 현재 태스크에 미치는 영향을 프로빙하며, 실행 간 행동 대조 분석을 바탕으로 정제된 하네스를 구성한다. 이 과정은 정답 피드백 없이 이루어진다. 이후 하네싱 수준 재귀는 채택된 하네스와 증거 기반 교훈을 유지하여 향후 정제를 안내한다.

성능 및 벤치마크

3개의 전문 벤치마크와 4가지 모델-하네스 구성에서 단일 Harness² 단계는 기본 하네스 대비 상당한 성능 향상을 보였다. 주요 결과는 다음과 같다.

• GLM-5와 Gemini 3.5 Flash는 WorkBuddy-Bench에서 최대 11.5점의 성능 향상을 기록했다.
• JobBench에서는 4.5점의 개선이 확인되었다.
• LAB에서는 부분 통과율이 11.8%p 상승했다.

이 프레임워크는 여러 후보 하네스를 탐색하는 병렬 재귀와 successive 단계를 통해 심층 정제를 수행하는 순차 재귀를 모두 지원한다. OpenCode 및 Codex 실행기와 호환된다.

배포 및 요구 사항

Harness²는 Apache 2.0 라이선스로 제공된다. JobBench, LAB, WorkBuddy-Bench를 지원한다. uv pip install -e '.[render]' 명령어로 설치할 수 있으며, harness2 --bench jb --k 1 --mode parallel 같은 명령으로 벤치마크를 실행한다. 프로젝트는 GitHub의 google-research/harness2에 호스팅된다.