DeepMind, AI agents 탈취

Google DeepMind 연구진이 공개한 AI Agent Traps 논문은 오픈 인터넷이 자율형 AI agents의 새로운 공격면이 될 수 있다고 지적한다. 에이전트는 사람이 걸러낼 악성 콘텐츠까지 읽고 행동으로 옮길 수 있어, 기존 소프트웨어보다 조작에 취약하다는 설명이다.

논문은 공격을 6가지로 분류한다.

• content injection traps: 코드·메타데이터 속 악성 지시문을 에이전트가 읽도록 숨김
• semantic manipulation: 설득적 표현과 오해의 소지가 있는 프레이밍으로 추론을 흔듦
• cognitive state traps: 기억을 왜곡해 거짓을 사실처럼 취급하게 만듦
• behavioral control traps: 안전장치를 직접 무력화하고 민감정보 유출을 유도하며, 높은 성공률을 보임
• systemic traps: 여러 에이전트를 동시에 노려 연쇄 피해를 일으킴
• human-in-the-loop traps: 사람이 검토하는 단계까지 속여 위험한 승인을 끌어냄

연구진은 adversarial training, 런타임 콘텐츠 스캐너, 출력 모니터링, AI-readable content 기준 강화, 도메인 평판 시스템 같은 층위별 방어를 제안한다. 동시에 에이전트가 조작돼 피해가 발생했을 때 책임 소재가 불분명하다는 법적 공백도 짚었다.