제3자 모델 평가 개발을 위한 새로운 이니셔티브

AI 모델의 역량과 위험을 정확히 평가하기 위해서는 강력한 제3자 평가 생태계가 필수적이다. 하지만 현재는 고품질의 안전 관련 평가 개발 수요가 공급을 앞지르고 있는 상황이다.

Anthropic은 고도화된 AI 모델의 역량을 효과적으로 측정할 수 있는 평가 도구를 개발하는 제3자 조직을 지원하기 위한 새로운 이니셔티브를 도입한다. 이번 투자는 AI 안전 분야 전체의 수준을 높이고 생태계 전반에 유익한 도구를 제공하는 것을 목표로 한다.

주요 우선순위 분야는 다음과 같다:

• AI 안전 수준(ASL) 평가: Responsible Scaling Policy에서 정의된 안전 수준을 측정하기 위한 평가 (사이버 보안, CBRN 위험, 모델 자율성, 국가 안보 위험 등)
• 고도화된 역량 및 안전 지표 개발
• 평가 개발을 위한 인프라, 도구 및 방법론

특히 사이버 보안 분야에서는 취약점 발견 및 익스플로잇 개발 등 정교한 위협 행위자 수준의 역량을 평가하는 데 집중하며, CBRN(화학, 생물, 방사능, 핵) 위험 분야에서는 모델이 치명적인 위협을 설계하거나 비전문가의 능력을 증폭시키는 능력을 측정하는 데 주력한다.