AI 모델, 암호화 백도어로 임의 기능 숨기기 가능… 감사 신뢰성 위협

연구진이 모델 가중치 내부에 암호화된 신경망을 삽입해 임의의 기능을 수학적으로 증명 가능한 방식으로 숨기는 백도어 공격을 시연했다. 이 숨겨진 회로는 비밀 트리거를 받을 때만 복호화 및 실행되며, 감사자가 모델 가중치에 완전히 접근하더라도 암호학적 가정 하에 유도(elicitation)에 저항한다.

연구 방법 및 결과

이 연구는 기존 고정 문자열 숨기기에서 임의의 연산 숨기기로 확장하여 디지털 락커(digital lockers)를 활용했다. 저자들은 PyTorch로 개념 증명 구현을 수행했으며, CBRN 관련 능력의 대리 지표로 작은 화학 반응 예측 작업을 평가했다.

주요 발견 사항은 다음과 같다:

• 감사 저항성: 숨겨진 기능은 미세 조정, 가중치 노이즈 추가, 그래디언트 기반 트리거 탐색, 잠재적 적대적 학습에 저항했다.
• 암호학적 보장: 디지털 락커 사용으로 숨겨진 회로의 해석 및 유도가 어렵다는 수학적 보장이 제공되며, 이는 유도 기반 능력 감사의 근본적 한계를 드러낸다.
• 오픈 릴리스: 저자들은 이러한 공격에 대한 방어 기술 개발을 지원하기 위해 모델을 공개했다.

AI 안전성에 미치는 영향

NeurIPS 2026에 채택된 이 연구는 배포 전 숨겨진 능력을 항상 드러낼 수 있다는 핵심 가정을 반박한다. 적대자가 암호화 기술을 이용해 모델 가중치 내 위험한 행동을 숨길 경우, 현재 안전성 평가가 불충분할 수 있음을 시사한다.