Anthropic, Accenture와 5년간 각 10억 달러 투자해 AI 모델 내장형 평가 도입

Anthropic이 Accenture의 AI 전문 부서인 Faculty와 함께 내장형 평가(embedded evaluation) 파트너십을 체결했다. 이는 CEO의 'We Must Pace the Frontier' 에세이에서 밝힌 약속의 일환으로, 독립적인 평가자가 AI 회사 내부에서 모델을 검증하는 새로운 안전성 확보 방식이다.

파트너십의 핵심은 평가자가 직원과 유사한 접근 권한을 얻어 모델의 훈련 과정과 배포 결정을 직접 관찰하는 것이다. 이를 통해 안전성 약속 이행 여부를 확인하고 사각지대를 식별하며, 사고 발생 시 보고할 수 있다. Accenture은 기업 및 정부 기관의 AI 활용 경험을 바탕으로 모델의 정렬(alignment) 평가와 레드팀(red-teaming)을 수행한다.

양사는 향후 5년간 이 분야 역량 구축에 각각 최소 10억 달러를 투자할 계획이다. 현재 내장형 평가에 대한 표준이나 자금 조달 시스템이 부재한 상황이지만, Anthropic은 Accenture의 작업을 직접 지원하고 METR 등 비영리 평가 기관들과도 협력하여 파일럿을 진행 중이다. 이 파트너십은 비독점적이며, Anthropic은 향후 몇 주 내 다른 평가 기관들과의 협력도 발표할 예정이다.