민감한 대화 상황에서 ChatGPT의 대응 능력 강화

OpenAI는 정신 건강 전문가들과 협력하여 사용자가 심리적 고통을 겪는 순간을 더 잘 인식하고, 대화를 완화하며, 적절한 경우 전문적인 치료를 받을 수 있도록 ChatGPT의 기본 모델을 업데이트했다.

이번 안전 개선은 다음 세 가지 핵심 영역에 집중한다:

• 정신 건강 문제 (정신병 또는 조증 등)
• 자해 및 자살
• AI에 대한 정서적 의존

향후 모델 출시 시, 기존의 자살 및 자해 관련 안전 지표 외에도 정서적 의존과 비자살적 정신 건강 비상 상황을 표준 안전 테스트 세트에 추가할 예정이다. 이를 위해 Model Spec을 업데이트하여 모델이 사용자의 현실 세계 관계를 존중하고, 근거 없는 믿음을 강화하지 않으며, 정신적 고통의 간접적인 신호에 주의를 기울이도록 가이드라인을 정립했다.

정신 건강 관련 위험 상황은 발생 빈도가 매우 낮기 때문에, OpenAI는 실제 사용 데이터뿐만 아니라 offline evaluations(오프라인 평가)를 병행한다. 이는 고위험 시나리오를 의도적으로 설정하여 모델의 취약점을 찾아내고, 모델이 실제 환경에서 미처 발견하지 못한 위험에 얼마나 잘 대응하는지 정밀하게 측정하기 위함이다.