AI BriefingIBM CUGA, AppWorld 벤치마크서 81.1% 달성
Same Model, Different Harness: CUGA, Hermes, and Deep Agents — When to Pick CUGA?
·2026.11.04 00:57
핵심 내용
IBM CUGA가 AppWorld 벤치마크에서 81.1% 작업 완료율을 기록하며 경쟁사를 압도했다
자세히 보기
- IBM Research가 소버린 클라우드 및 에어갭 환경에 최적화된 오픈소스 엔터프라이즈 에이전트 하네스 CUGA(ConfigUrable Generalist Agent)를 공개하고, 통제된 테스트에서 경쟁 하네스 대비 우월한 성능을 입증함
- GLM-5.3-flash 모델을 활용한 AppWorld 벤치마크 테스트에서 CUGA는 81.1%의 작업 완료율(TGC)과 66.7%의 시나리오 완료율(SGC)을 기록하며, Hermes(46.7% TGC)와 Deep Agents(30.0% TGC)를 크게 상회함
- 런타임에서 규칙을 강제하는 정책 레이어를 구현하여 거버넌스 제약을 시스템 프롬프트에서 하네스 아키텍처로 이동시킴
- 4가지 실행 지점(Intent Guard, Playbook, Tool Approval/ToolGuard, Output Formatter)을 통해 정책 레이어를 적용하고, 태스크 분해 및 도구 선별, CodeAct 실행을 활용해 모델의 의사결정 지점을 줄이고 최종 출력 전 오류를 포착함
- 제공된 harbor-eval 저장소를 통해 결과 재현이 가능함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
