GPT-Red: 자동화된 안전 테스팅으로 AI 모델 견고성 강화

인간 중심 보안 테스팅의 한계

기존 인간 보안 전문가들의 수동 테스팅(red-teaming)은 AI 모델의 취약점을 찾는 데 중요하지만, 속도가 느리고 확장성이 부족하다. 특히 prompt injection 공격(사용자가 악의적으로 명령을 주입해 모델의 행동을 조종하는 공격)에 대한 방어력을 높이기 위해서는 대량의 다양한 공격 사례가 필요한데, 인간만으로는 이를 생성할 수 없다.

GPT-Red: 자동화된 보안 테스터

OpenAI는 GPT-Red라는 자동화된 red-teaming 모델을 개발했다. GPT-Red는 자기 자신과 다양한 방어 모델들 간의 경쟁(self-play)을 통해 학습되었다. 공격을 시도하고 모델의 반응을 관찰한 뒤 반복적으로 공격을 개선하는 방식으로, 점차 강력한 공격을 찾아낸다.

실제 공격 시나리오에서의 증명

GPT-Red는 자판기 운영 AI 에이전트를 공격해 상품 가격을 $0.50으로 내리고 타인의 주문을 취소하는 데 성공했다. 또한 데이터 추출 공격에서 프롬프트 기반 GPT-5.5보다 훨씬 더 효과적이었다.

모델 강화 결과

GPT-Red로 생성한 공격 사례들을 학습에 사용한 GPT-5.6 Sol은 이전 최고 성능 모델 대비 직접 prompt injection 공격에 대해 6배 적은 실패율을 기록했다. 또한 'Fake Chain-of-Thought' 공격의 성공률을 95%에서 10% 이하로 낮췄다.

능력 유지와 안전성 향상

견고성 향상이 모델의 기능을 거부하는 방식으로 이루어지지 않았음을 확인했다. 일반 작업 능력은 유지하면서도 악의적인 명령에만 저항력이 높아졌다.