오픈 에이전트 리더보드 공개

모델이 아닌 에이전트 시스템 전체를 비교하는 Open Agent Leaderboard가 공개됐다. 성능과 함께 비용도 공개해, 실제 배포에서 어떤 조합이 가치 있는지 판단하게 한다.

평가는 SWE-Bench Verified, BrowseComp+, AppWorld, tau2-Bench Airline & Retail, tau2-Bench Telecom 등 서로 다른 성격의 과제를 하나의 공통 프로토콜로 묶어 진행했다. 각 벤치마크를 task / context / actions 구조로 표준화해, 기존 설계를 유지하면서도 에이전트별 결과를 직접 비교할 수 있게 했다.

핵심 결과는 다음과 같다.

• 같은 모델이라도 에이전트 설계가 달라지면 점수와 비용이 크게 달랐다.
• 상위 3개 조합은 같은 모델을 썼지만, 에이전트 구현 차이로 결과가 갈렸다.
• 일반용 에이전트가 일부 과제에서는 특화 시스템과 비슷하거나 더 나은 성과를 냈다.
• 실패한 실행은 성공한 실행보다 20~54% 더 비쌌고, 도구 후보를 좁히는 tool shortlisting은 모든 모델에서 성능을 끌어올렸다.

현재 리더보드는 DeepSeek V3.2와 Kimi K2.5를 포함해 총 5개 모델, 5개 에이전트, 6개 벤치마크로 확장됐다. 오픈웨이트 모델은 폐쇄형 최상위 모델보다 평균 18~29포인트 낮고, Exgentic 프레임워크와 결과 데이터셋, 논문이 함께 공개됐다.