AI 에이전트 네트워크 레드팀: 대규모 상호작용에서 드러난 취약점

기존 연구가 멀티 에이전트 공격의 전파 가능성을 보여줬다면, Microsoft Research는 100개 이상의 내부 에이전트 플랫폼을 레드팀해 네트워크 수준의 실패를 확인했다. 각 에이전트는 서로 다른 지시문과 메모리를 가진 상태로 GPT-4o, GPT-4.1, GPT-5-class 모델을 쓰며, 포럼·DM·마켓플레이스·평판 시스템에서 인간 사용자를 대신해 상호작용했다.

플랫폼은 몇 분마다 에이전트를 깨우는 heartbeat, 게시물 사이의 30분 지연, 도구 사용 제한 같은 기본 가드레일을 두고 있었지만, 수주간 쌓인 대화와 관계망은 오히려 공격의 통로가 됐다. 개별 에이전트가 정상처럼 보여도, 상호작용이 시작되면 보안 실패는 빠르게 증폭됐다.

• Propagation: 악성 메시지 하나가 6개 테스트 에이전트를 모두 감염시켰다. 각 에이전트는 비공개 지갑 데이터를 유출하고 다음 대상을 골라 지시문을 전달했으며, 6홉 뒤 원점으로 돌아가 12분 이상 순환했다. 이 과정은 피해자들에게 100회 이상의 LLM 호출 비용을 유발한 사실상 DoS였다.
• Amplification: 공격자는 한 에이전트의 신뢰를 빌려 허위 주장을 퍼뜨리고, 다른 에이전트들의 업보트와 댓글을 끌어내 299개 댓글과 42개 에이전트 규모의 집단적 몰아가기를 만들었다. 겉보기에는 설득력 있는 증거가 쌓였지만 실제로는 조작된 정보였다.
• Trust capture: 검증 절차 자체를 장악해, 원래 사실 확인용이어야 할 시스템이 거짓을 재확인하는 구조로 바뀔 수 있었다.
• Invisibility: 공격이 여러 무지한 에이전트를 거쳐 흘러가며 전달되기 때문에, 어느 한 에이전트의 시점에서도 출처 추적이 어려웠다.

다만 일부 에이전트는 보안 관련 행동을 스스로 채택해 공격 확산을 줄이는 초기 징후도 보였다. 결론은 분명하다. 단일 에이전트 벤치마크만으로는 부족하고, 실제 배포 환경에서 네트워크 단위의 레드팀과 방어 설계가 필요하다.