실무 작업에서의 모델 성능 측정

OpenAI는 AI 모델이 실제 경제적 가치를 창출하는 능력을 측정하기 위해 새로운 평가 지표인 GDPval을 도입했다. GDPval은 미국 GDP에 크게 기여하는 9개 산업군과 44개 직업군을 대상으로 모델의 실무 수행 능력을 평가한다.

기존의 MMLU와 같은 학술적 벤치마크나 SWE-Bench 같은 특정 코딩 작업 중심의 평가를 넘어, GDPval은 실제 전문가들이 수행하는 지식 노동의 결과물을 기반으로 한다. 평가 항목에는 법률 초안, 엔지니어링 설계도, 고객 지원 대화, 간호 계획 등 실제 업무에서 사용되는 다양한 산출물이 포함된다.

GDPval의 주요 특징은 다음과 같다:

• 현실성: 단순 텍스트 프롬프트가 아닌 참조 파일과 컨텍스트를 함께 제공한다.
• 다양성: 문서, 슬라이드, 다이어그램, 스프레드시트, 멀티미디어 등 다양한 형태의 결과물을 요구한다.
• 전문성: 평균 14년 이상의 경력을 가진 전문가들이 1,320개의 전문 과제를 직접 설계하고 검증했다.

현재 GDPval은 단발성(one-shot) 평가로 진행되어, 모델이 여러 번의 수정을 거치며 맥락을 구축하는 복잡한 워크플로우를 완벽히 반영하는 데에는 한계가 있다. 향후 버전에서는 더욱 상호작용적인 워크플로우와 풍부한 맥락을 포함하는 방향으로 확장될 예정이다.