더 안전한 AI 시스템 구축을 위한 US CAISI 및 UK AISI와의 협력

OpenAI는 AI의 안전한 배포를 위해 US CAISI(Center for AI Standards and Innovation) 및 UK AISI(AI Security Institute)와 협력하고 있다. 양국 연구 및 표준 기관과의 파트너십을 통해 머신러닝, 국가 안보, 계량학 분야의 전문성을 결합하여 보안 수준을 높이고 있다.

최근 협력은 AI 에이전트의 보안 문제로 확장되었다. CAISI는 ChatGPT Agent에 대한 조기 액세스 권한을 부여받아 시스템 아키텍처를 분석하고 레드팀(Red-teaming) 테스트를 수행했다.

이 과정에서 CAISI는 두 가지 새로운 보안 취약점을 발견했다. 공격자가 보안 보호 기능을 우회하여 원격으로 컴퓨터 시스템을 제어하거나 사용자를 사칭할 수 있는 위험이 확인되었다.

특히 CAISI는 전통적인 사이버 취약점과 AI agent hijacking attack을 결합하여 약 50%의 성공률을 가진 정교한 공격 체인을 개발했다. 이러한 발견은 즉시 OpenAI에 보고되어 보안 개선에 활용되었다.