AI 시스템 Red Teaming의 과제

AI 시스템의 안전성과 보안을 개선하기 위해 취약점을 식별하는 Red Teaming은 필수적인 도구다. 하지만 현재 Red Teaming 분야는 표준화된 관행이 부족하여 시스템 간의 안전성을 객관적으로 비교하기 어렵다는 과제를 안고 있다.

Anthropic은 위험을 체계적으로 관리하기 위해 다음과 같은 다양한 접근 방식을 활용한다:

• 도메인 특화 전문가 Red Teaming: 정책 취약성 테스트(PVT), 국가 안보, 다국어/다문화 테스트 등 특정 분야 전문가와 협업하여 복잡하고 맥락적인 위험을 식별한다.
• LLM 활용 Red Teaming: 언어 모델을 사용하여 Automated Red Teaming을 수행한다.
• 멀티모달(Multimodal) Red Teaming: 텍스트를 넘어선 새로운 모달리티를 대상으로 테스트를 진행한다.
• 개방형/일반 Red Teaming: 일반적인 위해를 방지하기 위한 Crowdsourced Red Teaming 및 커뮤니티 기반 테스트를 운영한다.

이러한 방법론들을 정성적 Red Teaming에서 자동화된 평가 개발로 이어지는 반복적인 프로세스로 통합하여, 모델의 능력이 향상됨에 따라 발생할 수 있는 미래의 위협에 대비해야 한다.