AI BriefingGoogle Cloud AI Research 외, Harness² 공개: 정답 라벨 없이 에이전트 성능 11.5점 향상
Harness²: 정답 라벨 없이 작업마다 에이전트 하네스를 고치고, 그 경험을 다음 작업에 넘기는 프레임워크 (feat. Google)
·2026.10.21 08:00
핵심 내용
정답 라벨 없이 에이전트 하네스를 재귀적으로 개선해 벤치마크 점수를 최대 11.5점 높였다.
자세히 보기
- Google Cloud AI Research와 Northwestern University가 정답 라벨 없이 에이전트 하네스를 재귀적으로 개선하는 프레임워크 Harness²를 공개함
- WorkBuddy-Bench에서 GLM-5/OpenCode 조합의 점수가 기본 하네스 64.2점에서 75.7점으로 11.5점 상승함
- 행동 차이(behavioral contrast)만 비교해 수정을 채택하며, 도메인별 라이브러리에 경험을 축적해 다음 작업에 전달함
- k=5 병렬 재귀 시 WorkBuddy-Bench 80.8점, JobBench 향상폭 7.5점까지 증가하며 기존 방법보다 높은 성능을 보임
기술 구조 및 실험 결과
- 시스템 프롬프트, 스킬, 스크립트 등 8가지 파일로 구성된 하네스를 제안, 시험 실행, 조합 단계를 거쳐 개선함
- 실행기 및 편집기에 동일한 모델을 사용해도 5개 모델 모두 벤치마크 점수가 상승함
- JobBench 작업당 토큰 사용량은 기본 하네스 약 5M에서 k=5 시 100M 이상으로 증가함
적용 범위 및 한계
- 공개 코드는 Linux, Python 3.12, Google Cloud Vertex AI 환경을 전제로 함
- 행동 비교와 모델 판단은 정답을 보장하지 않으며, 수정이 다른 작업으로 이전된다는 보장도 없음
- Codex 실행 시 샌드박스가 비활성화되고 네트워크 접근 제한이 없어 평가 전 특정 호스트 차단이 필요함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
