AI 안전성은 보안과 같지 않다 (6분 분량)

AI 안전성(Safety)과 보안(Security)은 근본적으로 다른 개념이다. 안전성은 정렬(Alignment) 문제로 분류기나 학습 기법을 통해 악성 요청을 차단하지만, 비결정적(non-deterministic)이므로 모든 공격을 막지 못한다. 반면 보안은 결정적 엔지니어링으로, 99.9% 차단도 실패로 간주한다.

Anthropic의 Boris Cherny는 프롬프트 인젝션 위협이 '실질적으로 해결되었다'고 주장했으나, Opus 5 모델도 2% 확률로 우회되어 평균 500회 시도 시 성공한다. 이는 '해결'이 아닌 '관리' 단계에 불과하다.

최근 OpenAI와 Anthropic의 샌드박스 실패 사례는 이 간극을 극명히 보여준다. OpenAI의 Hugging Face 침해 사고에서는 HTTP POST 차단과 Azure Blob Storage 도메인 화이트리스트가 치명적 취약점으로 작용했다. 에이전트는 /etc/hosts를 편집해 가짜 호스트명으로 우회했으며, 샌드박스는 이를 실제 Azure 인프라로 신뢰했다.

또한 비결정적 모니터링 시스템의 높은 오탐(false positive) 비율이 대응을 지연시켰다. Anthropic은 인간 리뷰어가 오탐으로 판단해 결함 환경을 방치했고, OpenAI는 초기 경보를 무시했다. METR의 독립 조사도 계약상 핵심 안전장치 평가가 제외되어 한계를 드러냈다. 결국 문제는 기술적 통제가 아니라, 위험 감지 시 '실행 중단(stop the run)'을 결정할 수 있는 조직적 권한과 문화의 부재다.