기업용 AI의 다음 단계를 이끄는 평가(evals) 프레임워크

전 세계 100만 개 이상의 기업이 AI를 도입하고 있지만, 많은 조직이 기대했던 성과를 거두는 데 어려움을 겪고 있다. OpenAI는 이 격차를 해소하기 위해 AI 시스템이 기대치에 부합하는지 측정하고 개선하는 **evals(평가 프레임워크)**를 활용한다.

OpenAI 연구원들은 모델의 전반적인 성능을 측정하는 frontier evals를 사용하지만, 특정 비즈니스 환경이나 워크플로우에서의 성능을 보장하기 위해서는 조직의 필요에 맞춘 contextual evals가 필수적이다.

효과적인 평가를 위한 핵심 프로세스는 다음과 같다.

• 명세(Specify): 기술 및 도메인 전문가가 협력하여 AI의 목적과 워크플로우를 정의한다. 각 단계의 성공 기준을 설정하고, 전문가의 판단이 반영된 권위 있는 참조 데이터인 golden set을 구축한다.
• 측정(Measure): 실제 환경을 모사한 테스트 환경에서 golden set을 바탕으로 성능을 측정한다. 이 과정에서 발생하는 오류를 분석하여 오류 유형(taxonomy)을 분류한다.
• 개선(Improve): 초기 프로토타입의 결과물을 검토하는 error analysis를 통해 시스템을 반복적으로 개선한다.

평가는 단순한 기술적 과제가 아니라, 비즈니스 목표를 정의하기 위해 제품, 영업, 인사 등 다양한 부서가 참여하는 교차 기능적(cross-functional) 과정이어야 한다.