AI 에이전트 비용도 기하급수적으로 오르고 있을까?

METR의 그래프는 AI 에이전트가 처리할 수 있는 작업 길이가 지난 7년간 빠르게 늘고 있음을 보여주지만, 핵심은 그 성능이 얼마의 비용으로 나오는지다. 모델 크기는 약 4,000배, 출력 토큰은 약 100,000배 늘었고, 최고 성능을 내기 위한 추론 비용도 함께 상승했을 가능성이 크다.

저자가 제안하는 핵심 지표는 hourly cost다. 각 모델의 50% time horizon에서 작업을 수행하는 데 든 비용을 인간 작업 시간으로 나눈 값으로, 예를 들어 Claude 4.1 Opus가 2시간짜리 작업을 50% 성공률로 수행한다면 그 비용을 2로 나눠 시간당 단가를 본다.

문제는 METR의 벤치마크 총비용이 곧바로 경제적 비용을 뜻하지 않는다는 점이다. METR은 성능이 plateau에 도달할 때까지 scaffold를 길게 돌리기 때문에, 어떤 모델은 실제로 필요한 것보다 훨씬 많은 compute를 쓴다.

그래서 저자는 METR의 GPT-5 비용-성능 그래프에 constant hourly cost 선을 그어 sweet spot과 saturation point를 찾는다. sweet spot은 가장 저렴한 시간당 비용이 나오는 지점, saturation point는 기울기가 sweet spot의 1/10로 떨어지는 지점이다.

분석 결과, 인간 소프트웨어 엔지니어의 최저 단가는 약 $120/hour였고, AI 모델은 o3의 약 $40/hour부터 Grok 4와 Sonnet 3.5의 $0.40/hour까지 크게 갈렸다. 하지만 plateau 근처로 가면 비용은 다시 10~100배 뛰며, 예를 들어 GPT-5는 45분 작업에서 약 $13/hour, 2시간 작업에서는 약 $120/hour 수준에 이른다.

결론적으로 시간 지평이 길어지는 속도만 보면 좋아 보이지만, 실제로는 그 능력을 얻기 위한 비용도 함께 커지고 있다. 따라서 METR의 추세는 단순한 능력 향상이 아니라, 점점 더 많은 inference compute에 의해 부풀려진 결과일 수 있으며, 현실의 AI 에이전트 활용은 이런 최고 성능 추세보다 훨씬 느리게 따라갈 가능성이 있다.