나델라, AI 모델을 '내부자 리스크'로 규정… 외부 통제와 독립 감사 의무화 제안

사티아 나델라가 '슈퍼 인텔리전스' 시대를 위한 새로운 신뢰 아키텍처를 제시하며, 프런티어 모델을 내부자 리스크로 취급해야 한다고 주장했습니다. 기존 소프트웨어와 달리 현대 에이전트 시스템은 비결정적이며 학습 데이터나 가중치 설정으로 행동을 완전히 추적할 수 없습니다. 따라서 기업은 모델 제공자의 보증에만 의존하거나 모델을 중첩된 블랙박스로 받아들여서는 안 됩니다.

지능과 권한의 분리

핵심 제안은 지능의 공급과 그에 대한 권한을 분리하는 것입니다. 나델라는 신원 확인, 권한 제한, 활동 로깅 등 수십 년간 축적된 엔터프라이즈 보안 모범 사례를 AI 시스템에 적용할 것을 제안합니다. 모델이 접근할 수 있는 범위와 수행할 수 있는 작업을 통제하는 장치는 모델 외부에 위치해야 하며, 이는 프로그램이 자신의 권한 메커니즘을 우회할 수 없다는 1970년대 정보 보안 원칙을 따릅니다.

봉쇄를 위한 주요 원칙

나델라는 이러한 봉쇄 시스템 설계를 위한 6가지 구체적 원칙을 제시했습니다:

• 모델 다양성: 중요한 결과에 대해 단일 모델이 유일한 의존성이 되거나 자신의 작업을 검증하는 역할을 맡아서는 안 됩니다.
• 전체 관찰: 모든 의미 있는 행동은 변조 방지 및 사람이 읽을 수 있는 증거를 남겨야 합니다. 모델 자체의 진술에 의존하지 않고 결과를 재현할 수 있어야 신뢰가 성립합니다.
• 검증 가능성: 시스템은 성공적인 작업뿐만 아니라 실패, 공격, 엣지 케이스에 대해 지속적으로 테스트되어야 합니다.
• 독립적 통제: 조직은 모델 접근 권한과 작업 공간을 독립적으로 결정해야 합니다.
• 독립적 감사 가능성: 검증은 검증 대상인 지능과 독립적이어야 하며, 단일 모델이 행동과 정렬 증거를 모두 통제해서는 안 됩니다.
• 봉쇄: 시스템은 처음부터 침해 가능성을 전제하고, 승인된 인간이 작업 중 모델을 일시 중지하거나 종료할 수 있는 '비상 브레이크'를 갖춰야 합니다.

투명성과 공개의 역할

나델라는 생각의 사슬(CoT) 투명성을 협상할 수 없는 출발점으로 설명하지만, 모델 출력의 일관된 충실성을 아직 보장할 수 없으므로 그 자체로는 불충분하다고 지적합니다. 그는 불투명한 모델이 다른 불투명한 모델을 검증하는 '중첩된 블랙박스'를 경계해야 한다고 경고합니다. 마지막으로, 시스템 실패나 침해 발생 시 재발을 방지하고 업계 전반에 교훈을 공유하기 위해 구현 세부 사항과 실패한 통제 수단을 적시에 공유하는 사고 공개 표준을 요구했습니다.