Anthropic 2026년 8월 리스크 보고서 [pdf]

Anthropic의 2026년 8월 리스크 보고서는 AI 모델의 자율성 위협과 오정렬(Misalignment) 문제를 심층적으로 다룬다.

주요 위협 모델:

• 오정렬(Misalignment) 위협: 모델의 은밀한(covert) 능력, 알려진 또는 알려지지 않은 오정렬로 인한 치명적 피해 가능성을 분석하며, 이를 완화하기 위한 내부 모니터링 및 차단 메커니즘을 포함한다.
• 자동화된 R&D 위험: AI가 연구 프로세스를 대체하거나 가속화함에 따라 발생하는 위험을 다룬다. 로보틱스, 생명공학, 에너지, 반도체, 무기 개발 등 다양한 도메인에 미치는 영향을 분석한다.

위험 완화 및 대응 전략:

• 내부 통제: 비동기적/자동화된 오프라인 모니터링, 모델 가중치 보안, 샌드박싱(Sandboxing) 및 차단 분류기(Blocking classifiers)를 통한 위험 제어 방안을 제시한다.
• 연구 및 평가: 권력 추구(Power seeking) 환경 평가 및 보상 해킹(Reward hacking) 일반화에 대한 연구 내용을 포함한다.