AI evals가 새 compute 병목

평가 비용은 static benchmark에서 agentic benchmark, training-in-the-loop 순으로 급격히 커진다.

• HELM은 모델별 API 비용이 $85~$10,926, 오픈 모델은 540~4,200 GPU-hours가 들었고, 전체 30모델, 42시나리오의 합산 비용은 약 $100,000 수준이었다.

• tinyBenchmarks는 MMLU를 14,000문항에서 100개로 줄여도 약 2% 오차로 순위를 유지했고, Open LLM Leaderboard도 29,000개에서 180개로 축소됐다. static benchmark는 여전히 큰 폭의 subsampling이 가능했다.

• HAL은 21,730 rollouts에 약 $40,000를 썼고, 2026년 4월 기준 총 rollouts는 26,597개까지 늘었다. 단일 run 비용은 benchmark별로 $0.12~$2,829까지 벌어졌고, model × scaffold × token budget 조합이 비용을 10배 이상 흔들었다.

• Mind2Web와 GAIA에서는 더 비싼 설정이 더 좋은 정확도를 보장하지 않았고, CLEAR는 accuracy-optimal configuration이 Pareto-efficient 대안보다 4.4~10.8배 비쌌다고 봤다.

• The Well은 새 architecture 1개당 약 960 H100-hours(대략 $2,400)가 들고, 전체 sweep은 3,840 H100-hours(대략 $9,600)다.

• MLE-Bench, RE-Bench, ResearchGym, PaperBench처럼 평가가 실제 training을 포함하면 한 번의 평가가 수십~수백 GPU-hours 또는 수천 달러로 바뀐다. PaperBench full은 약 $9,500, Code-Dev는 약 $4,200, NAS-Bench-101은 tabular construction에 100 TPU-years 이상이 들어갔다.

reliability를 위해 반복 실행을 늘리면 비용은 다시 곱으로 커진다. 결국 benchmark가 실제 작업에 가까워질수록, static에서는 100~200배 가능하던 compression이 agentic에서는 2~3.5배, training-in-the-loop에서는 거의 1배로 줄어든다.