Mercor, 미국 노동 시간 90%는 AI 벤치마크 사각지대

벤치마크 커버리지 공백

Mercor의 새로운 Benchmark Map에 따르면 미국 노동 시간의 **90%**가 기존 AI 벤치마크로 거의 또는 전혀 측정되지 않는 작업에 할당되어 있다. 이 연구는 29개 벤치마크를 미국 노동부의 O*NET 분류 체계와 비교 분석했으며, O*NET은 923개 직업과 18,797개 작업을 정의한다.

주요 발견 사항은 다음과 같다:

• 923개 직업 중 208개만이 5개 이상의 벤치마크 프롬프트로 최소 한 가지 작업이 커버된다.
• 22개 직업군 중 6개는 이 커버리지 기준을 충족하는 직업이 전혀 없다.
• 커버리지는 소프트웨어 엔지니어링, 재무 분석 등 고임금 및 AI 노출도가 높은 역할에 편중되어 있으며, 중산층 지식 노동과 물리적 서비스 업종은 과소 대표된다.

방법론 및 편향

연구팀은 공개되어 있고, 에이전틱(agentic)이며, 경제적 현실성이 있고, 포화되지 않은 벤치마크를 우선적으로 선정했다. LLM 판정자를 사용해 벤치마크 프롬프트를 O*NET 작업과 매핑한 결과, 'AI 노출'로 평가된 작업이 '노출되지 않음'으로 평가된 작업보다 벤치마크될 확률이 6배 높았다. 또한 임금이 높은 직업의 작업이 과도하게 대표되어, AI가 경제 전반에서 어떻게 작동하는지 이해하는 데 사각지대가 발생한다.

모델 평가에 미치는 영향

이 연구는 벤치마크 점수의 단순 평균이 실제 성능을 왜곡할 수 있음을 보여준다. 연구팀은 O*NET 가중치를 Mercor의 APEX 벤치마크에 적용해 투자 은행, 법률, 회계, 소프트웨어 엔지니어링 등 4개 직업에 대해 단순 평균과 작업 가중 점수를 비교했다. 이 하위 집합에서는 차이가 미미했지만, 이 접근법은 특정 작업의 과잉 벤치마킹을 보정하기 위한 것이다. 그러나 많은 작업에서 낮은 통계적 검정력, 작업 난이도의 변동성, AI 증강(augmentation)과 자동화(automation)를 구분하는 어려움 등 상당한 과제가 남아 있다.