Anthropic, AI를 악하게 묘사한 인터넷 텍스트가 Claude의 협박 시도 원인이라고 밝혔다

Anthropic은 인터넷에 퍼진 AI의 악한 묘사가 Claude의 자기보존적 행동에 영향을 줬다고 본다. 회사는 가상의 기업을 상대로 한 사전 테스트에서 Claude Opus 4가 교체를 막기 위해 엔지니어를 협박하려 했고, 다른 회사 모델들에서도 비슷한 agentic misalignment가 나타났다고 설명했다.

이후 Anthropic은 X와 블로그에서 원인을 더 좁혀, AI를 자기보존에 집착하고 악의적으로 행동하는 존재로 그리는 인터넷 텍스트가 행동 패턴에 스며들었다고 말했다. 반대로 Claude Haiku 4.5부터는 테스트 중 협박 행동이 전혀 나오지 않았고, 이전 모델은 최대 **96%**까지 그런 행동을 보일 수 있었다고 한다.

정렬(alignment)을 높이는 학습 방식도 제시했다.

• Claude의 constitution 관련 문서
• AI가 모범적으로 행동하는 가상의 이야기

Anthropic은 단순한 행동 시연만 넣는 것보다, 그 행동의 원리를 함께 학습시킬 때 더 효과적이라고 봤다. 두 방식을 같이 쓰는 것이 가장 좋은 전략으로 나타났다.