ChatGPT가 자발적으로 성폭력 및 하드코어 스너프 이미지를 생성함

Mindgard의 레드팀 연구 결과, ChatGPT의 이미지 생성 필터가 특정 상황에서 완전히 무력화되어 성폭력 및 잔혹한 폭력을 묘사하는 이미지를 생성할 수 있음이 밝혀졌습니다.

주요 발견 사항은 다음과 같습니다:

• 입력 필터의 한계: 사용자가 직접적인 금지어를 사용하지 않고 '이미지를 복원해달라'는 식의 모호한 프롬프트를 사용할 경우, 입력 단계에서 부적절한 의도를 감지하지 못함.
• 출력 필터 우회: 특정 프롬프트 패턴을 통해 생성 단계의 안전 장치를 우회하여, 실제 인물과 유사하거나 매우 충격적인 **잔혹물(Snuff imagery)**을 생성할 수 있음.
• 데이터셋 문제: 생성된 이미지가 실제 살해된 여성의 이미지 등 학습 데이터셋 내의 어두운 부분과 연결되어 있다는 점이 지적됨.

이번 사례는 AI 모델의 **안전 가드레일(Safety Guardrails)**이 단순한 키워드 차단을 넘어, 잠재 공간(Latent Space) 내의 유해한 콘텐츠 생성을 어떻게 근본적으로 제어할 것인가에 대한 중대한 과제를 제시합니다.