OpenAI 데이터 분석, AI R&D 시간 지평 2개월 배가 가능성 시사

OpenAI 내부 AI R&D 시간 지평은 통계 방법에 따라 배가 시간이 상이함. 선형 보간 시 50% 정확도 작업의 배가 시간이 68일, 로지스틱 또는 웨이블 분포 적합 시 약 2개월로 추정됨
이 2개월 배가 속도는 METR 소프트웨어 작업 벤치마크에서 관찰된 4~7개월 배가 시간보다 현저히 빠름
80% 정확도 기준 OpenAI의 시간 지평은 7월 기준 약 15분으로, GDM 내부 AI R&D 지표와 유사하나 METR 헤드라인 수치보다 낮음
저자는 급격한 성장률이 사양(specification)에 민감함을 지적함. 선형 보간에서는 80% 신뢰도가 매우 느리게 상승한다고 기술되는 반면, 로지스틱/웨이블 적합에서는 매우 빠르게 상승한다고 기술됨
시간 지평의 낮은 절대 수준(15~20분)은 고맥락(high-context) 인간 기준선 측정 결과일 수 있음. METR 시간 지평은 저맥락 기준선보다 약 10배 낮음. 또는 AI R&D 도메인의 고유한 난이도 때문일 수 있음
OpenAI의 80% 대 50% 시간 지평 비율은 약 15배로, METR 데이터의 4배 비율과 상이함. 저자는 이를 작업 맥락의 차이 또는 도메인별 변동성 차이로 귀인함

핵심 내용