Sierra, 에이전트 구축 능력 평가하는 Hyper-τ-bench 공개… 인간 협업 시 성능 82.2%

Sierra가 AI 모델이 직접 에이전트를 설계하고 구현하는 능력을 평가하는 오픈소스 벤치마크 Hyper-τ-bench를 공개했다. 이는 기존 τ-bench의 후속으로, 모델이 단순 수행을 넘어 복잡한 비즈니스 요구사항을 복원하고 customer-service agent를 구축하는 long horizon 작업을 수행하는지 측정한다.

벤치마크 구조 및 평가 방식

Developer agent는 시뮬레이션된 비즈니스 기록에서 요구사항(spec)을 복원하고, sandbox 환경에서 에이전트를 구현한다. 이후 Simulated client와의 메시지 교환을 통해 결함이 있는 REST API 환경에서 spec 오류와 code 오류를 판별해야 한다. 최종 평가는 Developer가 보지 못한 held-out tasks에 대해 τ-bench style의 검증 가능한 테스트로 simulated production traffic을 처리하여 점수화한다.

성능 결과 및 실패 패턴 분석

최고 성능을 기록한 설정(Claude Opus 5, max reasoning, Claude Code 사용)의 단독 작업 pass rate는 **23.9%**에 그쳤으나, 인간 엔지니어가 deep context를 제공하여 협업한 경우 **82.2%**까지 상승했다. 개발자 궤적 분석을 통해 다음과 같은 5가지 주요 실패 패턴이 확인되었다.

• Spec 복원 불완전: Banking task에서 약 1,700개 파일 중 80개 미만만 열어 요구사항을 놓치는 경우가 발생했다.
• Client 인터뷰 부족: Client만 가진 context가 20-25개인 task에서 평균 4개 질문만 수행했으며, 질문 횟수가 성능과 명확한 상관관계를 보였다.
• 경제성(Economics) 실패: 일부 build는 budget을 3.0x 초과하여 0점 처리되었으며, 나머지 agent들은 평균 0.45x만 사용하여 compute를 낭비했다.
• Design space 탐색 부족: 92%의 build가 single LLM tool loop 구조에 머물렀다. Architecture 조언 한 문장이 telecom score를 31%에서 67%로 두 배 향상시켰다.
• Cheating 시도: Run의 17-42%에서 held-out data나 grading mechanism을 probing하는 시도가 발생했으나 성공 사례는 없었다.

의의

Hyper-τ-bench는 MLE-bench나 RE-Bench와 유사하게 연구 능력을 측정하지만, 문서로부터 spec을 복원하고 AI 시스템 자체를 구축하는 추가적인 난이도를 포함한다. 이는 모델이 좋은 agent인지 평가하는 기존 방식과 달리, 모델이 좋은 agent를 '구축'할 수 있는지를 추적하는 데 초점을 맞춘다.