Anthropic, RSI 및 AI 안전 연구

AI 모델이 스스로의 코드를 수정하거나 성능을 개선하는 재귀적 자기 개선(Recursive Self-Improvement, RSI) 기술의 위험성과 안전한 통제 방안을 다룹니다.

RSI는 AI가 지능을 폭발적으로 향상시킬 수 있는 경로로, 이 과정에서 모델의 행동이 예측 불가능해지거나 인간의 통제를 벗어날 위험이 있습니다.

Anthropic은 다음과 같은 핵심 과제를 강조합니다:

• 모니터링 및 제어: 자기 개선 과정에서 발생하는 급격한 능력 변화를 감지하고 제어할 메커니즘 구축.
• 정렬(Alignment) 유지: 지능 향상 시에도 인간의 의도와 가치에 부합하도록 만드는 기술적 장치 마련.
• 안전한 연구 환경: RSI가 실제 시스템에 적용되기 전, 격리된 환경에서 충분한 검증 수행.