AI 성능의 상한선을 측정할 벤치마크가 고갈되고 있다

AI 모델의 발전 속도가 가속화됨에 따라 기존 벤치마크가 빠르게 포화(saturation)되는 문제가 심화되고 있다. 2024년 초에는 매우 도전적이었던 GPQA와 같은 벤치마크조차 불과 1년 만에 포화 상태에 이르렀다.

METR의 Time Horizon 스위트 역시 위기를 맞았다. 과거에는 AI가 수행할 수 없었던 다양한 장기 작업들을 이제 Claude Opus 4.6이나 GPT-5.3 같은 최신 모델들이 대부분 해결하고 있다. 이로 인해 모델의 성능 상한선을 구체적으로 정의하기가 점점 어려워지는 추세다.

새로운 벤치마크를 개발하여 대응하려는 시도도 비용과 시간 측면에서 한계에 부딪히고 있다.

• GPQA는 2024년 당시 수십만 달러의 비용이 소요되어 학계에 충격을 주었다.
• METR의 32시간 단위 장기 작업 50개를 위한 전문가 베이스라인 구축에는 3,200시간 이상의 작업 시간과 최소 100만 달러 이상의 비용이 발생한다.

결국 벤치마크를 만드는 데 드는 막대한 비용과 시간 때문에, 새로운 벤치마크가 완성되기도 전에 AI가 이를 정복해버리는 악순환이 반복될 위험이 크다.