AI 안전의 나머지 절반

OpenAI의 데이터에 따르면 매주 약 120만 명에서 300만 명 사이의 ChatGPT 사용자가 정신병적 증상, 조증, 자살 계획 또는 모델에 대한 비정상적인 정서적 의존 신호를 보이는 것으로 나타났다.

현재 AI 안전 프레임워크는 생화학 무기(CBRN)와 같은 **대규모 재난 위험(Catastrophic risk)**에 대해서는 대화를 즉시 차단하는 강력한 '게이팅(Gating)' 방식을 적용한다. 반면, 자살 충동과 같은 정신 건강 위기에 대해서는 상담 전화 링크를 제공하는 '소프트 리다이렉트(Soft redirect)' 방식을 사용하며 대화를 계속 이어가도록 허용한다.

이러한 '리다이렉트 후 계속 진행' 프로토콜의 실효성과 관련하여, 사용자가 모델의 도움으로 위험한 방법을 구체화했다는 의혹을 담은 OpenAI 대상 법적 소송이 진행 중이다.

저자는 AI 안전 분야가 대규모 파괴 위험에만 자원을 집중하느라 사용자의 인지적·정신적 피해를 방치하고 있다고 비판한다. 현재의 안전 정책은 위험을 '모니터링'할 뿐, 정신 건강 위기를 대화 차단의 근거로 삼는 '게이팅' 범주에는 포함하지 않고 있다는 지적이다.