Armo CTO, Tool Output Injection 방어 위해 행동 Baseline 기반 이탈 감지 제안

Tool Output Injection의 구조적 취약점

Ben Hirschberg(Armo CTO)는 Tool Output Injection 공격이 '결과 수신'과 '후속 호출'이라는 두 개의 이벤트로 발생하지만, 기존 방어 체계는 이를 개별적으로 처리해 놓치는 경우가 많다고 지적한다. OWASP 가이드라인에 따라 tool output은 외부 소스로 간주되어야 하며, 특히 외부 기여자의 코드를 읽고 클라우드 자격 증명과 shell 도구를 보유한 remote dev coding agent가 가장 취약하다.

기존 스크리닝의 한계와 Dual-LLM 패턴

기존의 input/output screening은 패턴 기반이라 indirect injection을 놓치거나 실제 실행된 action을 검증하지 못하는 한계가 있다. Dual-LLM 패턴(Quarantined model과 Privileged model 분리)은 효과적이지만, Privileged model이 untrusted content를 직접 읽지 못해 정보 손실이 발생한다. 또한 delimiter나 sandwiching 기법은 opportunistic 공격에는 유효하나, adaptive attack에서는 성공률이 90%대로 급증하므로 모델의 cooperation에 의존하지 않는 call inspection이 필수적이다.

ARMO의 행동 Baseline 기반 이탈 감지

ARMO는 Application Profile DNA(APD™) 기술을 통해 커널 레벨에서 agent별 행동 baseline을 구축한다. 도구 호출, 인자, 순서, 하위 활동(file/process/network) 등 4개 필드를 기록해 공격자가 알 수 없는 실제 사용 패턴을 파악한다. 공격자가 tool result를 통해 주입된 명령으로 전례 없는 호출을 시도하면, 이를 'Attack Timeline'으로 연결해 탐지한다. 이 방식은 주입 공격뿐 아니라 단순한 도구 오남용도 동일한 신호로 커버한다.

구현 및 권장 조치

ARMO 솔루션은 코드 변경이나 사이드카 없이 센서로 구현되며, Audit 모드에서 트래픽을 검증한 후 Enforce 모드로 차단한다. Credential isolation을 통해 자격 증명 경로 읽기 요청 시 빈 값을 반환해 클라우드 로그인 유출을 방지한다. 권장 조치는 untrusted field와 state-changing tool을 조합해 위험도가 높은 agent를 우선순위화하고, 상위 agent부터 baseline을 설정해 deviation rate가 안정되면 enforce를 적용하는 것이다.