AI 성능 측정이 점점 더 어려워지는 이유

AI 모델의 발전 속도를 보여주는 대표적인 지표인 METR 차트는 소프트웨어 엔지니어링 작업의 복잡도를 인간의 작업 시간으로 환산하여 모델의 성능을 비교한다. GPT-3.5가 30초 분량의 작업을 수행하던 것에서 시작해, 최근 Claude Opus 4.6은 인간이 12시간 걸리는 작업을 수행할 수 있을 것으로 추정된다.

하지만 이러한 급격한 성능 향상은 통계적 착시일 가능성이 있다. Claude Opus 4.6은 METR 테스트 세트 내 가장 어려운 문제들을 해결하면서 성능의 상한선을 정하기 어려워졌고, 이로 인해 신뢰 구간이 5시간에서 66시간까지 매우 넓게 나타나는 등 측정의 불확실성이 커졌다.

더 근본적인 문제는 기존 벤치마크가 잘 정의되고 독립적인 작업만을 측정한다는 점이다. 실제 업무는 다른 작업과 연결되어 있고, 타인과의 협업이 필요하며, 목표가 유동적으로 변하는 복잡한 특성을 가진다.

AI가 수 시간 단위의 작업을 넘어 수 주 또는 수개월 단위의 장기 과제를 수행하게 됨에 따라, 현재의 측정 방식으로는 실제 역량을 평가하는 데 한계가 있을 것이다.