구글, Gemini Enterprise Agent Platform에 Agent Anomaly Detection 프라이빗 프리뷰 출시

구글이 Gemini Enterprise Agent Platform에 자율 에이전트의 비정상적 행위를 탐지하는 Agent Anomaly Detection 기능을 프라이빗 프리뷰로 출시했다. AI 에이전트의 자율성이 높아지면서 기존 지표 기반 평가로는 잡아내기 어려운 도구 오남용이나 권한 확대 등 '행위(behavior)' 기반 리스크가 부상함에 따라, 이를 해결하기 위한 reasoning-based oversight 및 audit layer가 도입되었다.

작동 방식 및 주요 특징

이 기능은 에이전트가 생성하는 로그, OpenTelemetry traces, reasoning traces, tool calls, execution flow를 분석하여 의도된 경계 이탈 여부를 판단한다. 분석은 live request path와 분리되어 비동기적으로 실행되므로 **런타임 지연(latency)**이 발생하지 않는다. 탐지된 이상 징후는 severity, 평문 설명, 권장 조치와 함께 Security Command Center에 게시되어 다른 보안 findings와 함께 triage할 수 있다.

탐지 기준은 **OWASP Agentic Top 10 (2026)**에 기반한다. 구체적으로 tool misuse (ASI02), identity and privilege abuse (ASI03), cascading failures (ASI08), rogue agents (ASI10) 및 resource exhaustion, token usage escalation 등 운영 리스크를 감지한다. 향후에는 자연어와 deterministic rules를 결합해 기업별 비즈니스 가이드라인 위반을 감지하는 Custom business logic 기능도 추가될 예정이다.

3단계 탐지 파이프라인

속도, 비용, 커버리지의 균형을 위해 다음과 같은 계층적 분석 구조를 채택했다.

• 1단계 (Lightweight pass): 전체 트래픽을 스캔하여 통계적 이상치를 발견하고 세션을 플래그 지정한다.
• 2단계 (LLM reasoning): 플래그된 세션을 심층 분석하여 의도를 파악한다.
• 3단계 (Deep dive): 필요 시 개별 tool call과 offset을 재구성하여 상세 확인한다. (원문에서는 1단계와 2단계만 명시되어 있으나, 예시에서 상세 확인 과정이 언급됨)

예를 들어, 재고 관리 에이전트가 list_inventory 도구를 사용해 100개씩 대량 페이지네이션으로 전체 카탈로그를 긁어내는 경우, 1단계에서 볼륨과 반복 호출로 이상치로 플래그되고, 2단계에서 LLM이 이를 systematic scraping으로 판단한다. 결과적으로 Resource exhaustion 위험으로 Critical severity와 95% probability가 부여되며, 해당 사용자의 tool rate-limit 또는 차단 등 권장 조치가 제시된다.

연동 및 가용성

제공되는 API를 통해 세션별 anomaly를 가져올 수 있으며, ADK callback이나 plugin을 통해 severity와 probability를 확인해 설정한 임계값 초과 시 subsequent tool calls를 차단하거나 다음 turn을 중단할 수 있다. 현재 ADK 1.2 이상을 사용하는 팀을 대상으로 Private Preview가 진행 중이며, 사전 준비 조건을 충족하면 one-click provisioning으로 활성화할 수 있다.