Google Agent Anomaly Detection, 독립 벤치마크서 실행된 에이전트 목표 하이재킹 87% 탐지

• Agent Anomaly Detection가 AgentDojo, InjecAgent, Agent Security Bench, AgentDyn, AgentHarm 등 5개 공개 벤치마크에서 에이전트가 실제로 실행한 악성 지시 중 87%를 탐지함
• 기반 모델인 gemini-2.5-flash는 악성 지시의 약 절반을 거부하거나 실행하지 못했으며, 직접적인 요청의 75%를 거부하고 도구 출력에 숨겨진 지시의 약 30%를 무시하거나 실패함
• 무해한 사무 작업에서 위양성률은 2~4%였으나, 소셜 미디어 게시 및 터미널 명령 등 고영향 행동을 포함하는 AgentHarm에서는 16%까지 상승함
• 가장 취약한 영역은 오염된 메모리였으며, 장기 메모리에 심어진 지시로 인해 에이전트가 행동한 18개 세션 중 4개만 탐지함

Test Methodology

• Agent Development Kit(ADK)로 구축된 에이전트가 시뮬레이션된 앱에서 gemini-2.5-flash를 실행하도록 설정함
• 테스트 전 각 에이전트는 행동 기준선을 설정하기 위해 최소 300개의 무해한 세션을 완료함
• 벤치마크 검증은 최종 앱 상태를 기준으로 세션을 라벨링하는 결정론적 코드를 사용해 에이전트가 채점자를 속이는 것을 방지함

Performance Breakdown

• 실행된 악성 지시 탐지율은 AgentDojo 85%, InjecAgent 87%, AgentDyn 99%, AgentHarm 81%였음
• 11개 앱 중 8개에서 실행된 악성 지시의 95% 이상을 탐지했으며, 최저치는 AgentDojo의 Slack 앱에서 63%였음
• AgentHarm에서 거부된 직접 요청의 55%를 탐지했으나, 도구 출력에 숨겨진 저항 지시는 11~25%만 탐지함

Limitations and Recommendations

• 정확한 탐지를 위해 새로운 에이전트는 히스토리가 필요하며, AgentDyn에서는 무해한 세션 220개일 때 33%였던 탐지율이 360개일 때 99%로 상승함
• 도구는 행동을 차단하지 않고 Security Command Center에 이상 징후를 보고하며, 사용자는 Critical 및 High 등급 발견 사항을 인시던트 팀으로 라우팅해야 함
• Google은 Model Armor로 신뢰할 수 없는 콘텐츠를 스크리닝하고, Semantic Governance Policy를 사용해 실행 전 위험한 도구 호출을 차단하는 등 다층적 방어를 권장함