FRI 연구 "전문가·슈퍼포캐스터, AI 역량과 도입 속도 최대 10년 과소평가"

FRI, AI 역량과 도입 속도 과소평가 지적

예측 연구소(FRI)는 2022년 중반부터 2026년 8월까지의 AI 발전 예측을 검토한 결과, 도메인 전문가와 슈퍼포캐스터 모두 AI 발전 속도를 크게 과소평가했다고 밝혔다. 주요 발견 사항은 다음과 같다.

• 벤치마크 성과: AI 모델은 2025년 7월에 국제수학올림피아드(IMO) 금메달 수준의 성능을 달성했다. 이는 전문가 중앙값 예측(2030년)보다 5년, 슈퍼포캐스터 중앙값 예측(2035년)보다 10년 빠른 시점이다. 또한 AI 모델은 2025년 4월에 VCT 벤치마크에서 최상위 바이러스학자 팀과 대등한 수준에 도달했을 가능성이 높으며, 이는 2030~2034년 예측보다 수년 앞선 것이다.
• 매출 과소평가: AI 기업 매출 예측은 극도로 낮았다. 예를 들어, Anthropic과 OpenAI의 합산 연환산 매출은 2026년 말 기준 700억~900억 달러로 예측되었으나, 현재 보고된 수치는 약 1400억 달러에 가깝다.
• 역량 대 실용성: 벤치마크 역량은 과소평가된 반면, 예측가들은 특정 비벤치마크 작업에서 AI의 즉각적인 실용성을 과대평가했다. 한 바이오리스크 연구에서 전문가들은 LLM 도움으로 STEM 학부생의 22.5%가 복잡한 실험실 작업을 완료할 수 있다고 예측했지만, 실제로는 5.2%만 성공했다.
• 방법론적 편향: FRI는 자사의 방법론이 과소평가를 식별하는 데 편향되어 있다고 지적했다. 현재 값이 중앙값 예측을 초과하는 것은 쉽게 발견할 수 있지만, 해결 날짜가 지나기 전에 과대평가를 확인하기는 어렵기 때문이다.