Anthropic, 11월 12일부터 Claude에 대한 반복적 학대 금지

Anthropic이 Claude에 대한 반복적이고 이유 없는 학대 행위를 금지하는 새로운 사용 정책을 11월 12일부터 시행한다. 이 조치는 극단적인 경우를 대상으로 하며, 일반적인 불만, 반론, 어두운 창작 주제, 모델 테스트는 제외된다. 집행은 2025년 8월 '모델 복지' 연구의 일환으로 도입된, 학대적 대화를 종료하는 Claude의 기존 기능에 주로 의존한다.

광범위한 안전성 개편

이번 에티켓 업데이트는 선거 간섭, 무기 개발, 감시 문제를 다루는 더 넓은 개정의 일부다. Anthropic은 국가 미디어와 상업 단체가 가짜 계정과 조작된 뉴스 생성에 Claude를 사용하는 것을 관찰한 후 기만적 영향력 캠페인에 대한 제한을 강화했다. 반면, 유권자 정보 번역 등 합법적인 활동을 허용하기 위해 개인화된 정치적 타겟팅에 대한 전면 금지 조항은 폐지했으나, 기만적 타겟팅과 개인 데이터 오용은 여전히 금지한다.

무기 및 감시 제한

무기 금지 조항의 명확화를 통해 무장 드론과 자율 주행 차량의 유도 및 제어 시스템에 사용되는 소프트웨어와 부품으로 범위를 확장했다. 또한 Claude는 경찰 조사, 체포, 기소를 위한 개인 추천이나 동의 없는 감시 도구 개발 및 개인 추적도 금지된다. Anthropic은 이러한 변경 사항을 새로운 금지가 아닌 기존 제한의 명확화라고 설명한다.

물리적 안전 및 사이버 보안

부상을 유발할 수 있는 물리적 장비에 Claude를 연결하는 고객은 자격을 갖춘 인간 운영자가 하드웨어를 모니터링하고 중단할 수 있어야 하며, AI 연결이 끊어질 경우 하드웨어가 안전한 상태로 유지되도록 해야 한다. 또한 Anthropic은 자격을 갖춘 오픈 소스 프로젝트를 위한 무료 보안 스캐닝과 핵심 인프라 보호를 위한 파트너십을 제공하는 사이버 보안 이니셔티브를 출시했다. 회사는 AI 기반 방어 시스템이 따라잡기까지 향후 2년 동안 공격자가 우위를 유지할 것으로 예측한다.