AI 안전을 위한 프론티어 위협 레드팀(Red Teaming) 수행

Anthropic은 기존의 크라우드워커 기반 테스트를 넘어, 생물학 및 사이버 보안과 같이 국가 안보에 영향을 미칠 수 있는 **프론티어 위협(Frontier Threats)**에 대응하기 위한 레드팀(Red Teaming) 활동을 강화하고 있다.

최근 Gryphon Scientific의 전문가들과 협력하여 진행한 생물학적 위험 테스트 결과, 적절한 완화 조치가 없다면 AI 모델이 국가 안보에 위협이 될 수 있는 능력을 갖출 가능성이 확인되었다. 다만, 이러한 위험을 실질적으로 줄일 수 있는 완화 방법 또한 존재함을 발견했다.

효과적인 프론티어 위협 레드팀 수행을 위해 다음과 같은 프로세스를 적용한다:

• 위협 모델(Threat Models) 정의: 어떤 정보가 위험한지, 정보가 어떻게 조합되어 해를 끼치는지, 필요한 정확도와 빈도는 어느 정도인지 정의한다.
• 전문가 협업: 도메인 전문가와 LLM 전문가가 모델의 실제 역량을 파악하기 위해 100시간 이상 집중적으로 모델을 테스트한다.
• 자동화된 평가 구축: 전문가의 지식을 바탕으로 반복 가능하고 확장 가능한 자동화된 평가 도구를 개발한다.

Anthropic은 현재 이 작업을 확장하여 위험을 안정적으로 식별하고 완화책을 구축하는 데 집중하고 있으며, 연구 결과를 정부 및 관련 이해관계자들과 공유하며 장기적인 AI 안전에 기여하고자 한다.