나델라, AI에 인간 통제 '비상 브레이크' 도입 제안

마이크로소프트 CEO 사티아 나델라가 X를 통해 고급 AI 시스템에 격리, 독립적 통제, 그리고 권한을 가진 인간이 작업 중 모델을 일시 정지하거나 종료할 수 있는 **"비상 브레이크"**가 필요하다고 주장했다. 그는 비결정적 모델은 강력한 결정적 시스템 설계와 신뢰할 수 있는 운영 절차로 둘러싸여야 한다고 강조했다.

관측성 원칙

나델라는 신뢰할 수 있는 AI를 위한 구체적인 설계 원칙으로 다음을 제시했다:

• 모델 다양성
• 모델 행동의 인간 가독성 발자취
• 지속적인 시스템 테스트
• 독립적 통제와 감사 가능성
• 격리
• 사고 공개

그는 가장 신뢰할 수 있는 초지능 시스템은 가장 신뢰할 수 있는 모델을 가진 시스템이 아니라, 사용자가 모델을 가장 적게 신뢰하도록 하는 시스템이라고 밝혔다. 나델라는 이러한 시스템을 구축하기 위해 프론티어 폐쇄형 및 오픈 웨이트 모델을 모두 내부자 위험으로 취급해야 한다고 제안했다.

산업 및 정치적 맥락

이러한 발언은 빌 게이츠, 다리오 아모데이, 샘 알트먼, 일론 머스크 등 다른 기술 리더들이 안전 프로토콜이 불충분하다는 경고와 일치한다. 최근 Anthropic 연구원이 안전 우려로 사임하고, 정렬 책임자가 향후 10년 내 AI가 인류를 멸종시킬 확률이 10% 이상이라고 추정했던 사건들이 이 논의의 배경이 되었다.

반면, 도널드 트럼프 대통령은 멸종 위험을 일축하며 중국 대비 미국의 리더십을 우선시했다. 그의 행정부는 최근 국가정보국장 제이 클레이턴이 이끄는 **"AI Force"**를 출범시켜 산업 지원과 악성 행위자 대응에 나섰다.