적대적 강건성 확보를 위한 추론 시간 연산량 활용

적대적 공격(Adversarial attacks)은 지난 10년 넘게 AI 분야의 난제로 남아 있었습니다. 모델의 크기를 키우는 것만으로는 이러한 취약성을 해결하기에 충분하지 않았습니다.

OpenAI의 새로운 연구에 따르면, o1-preview 및 o1-mini와 같은 추론 모델에 더 많은 **추론 시간 연산량(inference-time compute)**을 할당하여 모델이 더 오래 '생각'하게 만들면 적대적 공격에 대한 강건성이 향상됩니다.

연구팀은 다음과 같은 다양한 작업 환경에서 실험을 진행했습니다:

• 수학적 작업: 단순 연산부터 MATH 벤치마크까지 포함
• SimpleQA: 사실 관계 확인 및 웹 브라우징 시뮬레이션
• Attack Bard: 적대적 이미지 공격
• StrongREJECT: 모델의 규정 위반 유도 프롬프트
• Model Spec: 내부 모델 규정 준수 여부

실험 결과, 공격자의 자원이 고정되어 있을 때 모델의 추론 시간 연산량이 증가할수록 공격 성공 확률이 급격히 감소하여, 많은 경우 성공 확률이 0에 가깝게 떨어지는 것을 확인했습니다.