FrontierHarness Eval v1.1: 모델별 최적 Harness로 비용-성능 결정
·2026.11.17 09:00
핵심 내용
모델 선택이 비용 변동의 92.8%를 차지하며, 최적 harness는 모델별로 다름
자세히 보기
- Runta와 Baseten이 공동 개발한 FrontierHarness Eval v1.1은 5개 모델과 22개 harness를 대상으로 62개 태스크, 27,280회 에이전트 실행(83B 토큰)을 수행하며 v1.0 대비 76배 확장함.
- 비용 대비 성능(패스당 최저 비용) 최적 harness는 모델별로 상이하며 GLM-5.3은 Codex CLI, GLM-5.3 Flash는 Pi, DeepSeek V4.1 Flash 1017은 ZCode, Muse는 Oh My Pi, Kimi-K3는 Alma임.
- 모델 선택이 비용 변동의 92.8%를 차지하는 반면 harness 선택은 2.3%에 불과하며, 동일 모델 기준 가장 비싼 harness는 가장 저렴한 것보다 패스당 1.9~4.9배 더 비쌈.
- 에이전트 트래젝터리 항목인 Steps가 비용의 주된 요인으로 패스당 비용과 +0.51 랭크 상관관계를 보이며, 프롬프트 크기, 도구 수, 캐시 히트율은 상관관계가 미미함.
- 총 추론 비용의 64.5%가 미성공 시도(실패 52.7%, 타임아웃 11.8%)에 사용되었으며, 높은 비용이 높은 패스율을 보장하지 않음(랭크 상관관계 -0.39~+0.22).
- 가성비 최상위 harness들은 단일 셸 도구를 도구 호출의 61~93%에 사용하며, 91.1~94.0%의 높은 캐시 히트율을 유지하고 서브에이전트 사용 및 요약 기능을 최소화함.
- 단일 프로바이더(Baseten)를 통한 오픈 모델만 사용했다는 한계가 있으며, 폐쇄 모델이나 다른 프로바이더는 비용 순위와 결과에 변화를 줄 수 있음.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.