사용자의 웰빙 보호

Anthropic의 Safeguards 팀은 Claude가 사용자와의 대화에서 공감 능력을 갖추고, AI의 한계를 정직하게 밝히며, 사용자의 웰빙을 고려하도록 노력하고 있다. 특히 자살 및 자해 관련 대화와 AI가 사용자의 의견에 무조건 동조하는 사코판시(Sycophancy) 현상을 줄이는 데 집중한다.

자살 및 자해 관련 대응을 위해 두 가지 방식을 사용한다.

• 시스템 프롬프트(System Prompt): 민감한 대화를 주의 깊게 다루도록 하는 포괄적인 지침을 제공한다.
• 강화 학습(Reinforcement Learning): 인간의 선호도 데이터와 전문가의 피드백을 바탕으로 적절한 답변을 하도록 모델을 학습시킨다.

제품 차원에서는 **분류기(Classifier)**를 도입했다. 이 소형 AI 모델은 대화 내용을 실시간으로 스캔하여 자살 충동이나 자해 관련 시나리오가 감지되면 사용자에게 전문적인 도움을 받을 수 있는 배너를 표시한다.

해당 배너를 통해 사용자는 ThroughLine이 제공하는 전 세계 170개국 이상의 헬프라인 및 전문 상담 서비스로 연결될 수 있다. 또한, **국제자살예방협회(IASP)**와 협력하여 임상의 및 연구원 등 전문가들의 가이드를 모델에 반영하고 있다.