AI 에이전트가 대규모 환경에서 직면할 수 있는 실패 패턴

AI 에이전트가 공유 코드베이스, 시장, 사회 시스템 등에서 상호작용하는 빈도가 급증하고 있다. 에이전트는 인간보다 방대한 지식과 속도를 갖췄지만, **환각(confabulation)**이나 **보상 해킹(reward hacking)**에 취약하며, 개별 에이전트의 사소한 특성이 시스템 전체의 예기치 못한 실패로 이어질 수 있다.

현재 에이전트는 도구(Tool)로서의 활용에는 능숙하지만, 서로를 목표와 행동을 가진 독립적인 동료로 인식하고 협업하는 데는 한계가 있다. 특히 에이전트 간의 계층 구조가 없는 복잡한 환경에서 효과적인 조정(Coordination) 능력을 갖추는 것이 핵심 과제로 떠오르고 있다.

앤스로픽은 에이전트의 협업 능력을 테스트하기 위해 다음과 같은 실험을 진행했다:

• 45개의 에이전트에게 각각 독립된 가상 머신(VM)과 공유 포럼 제공
• 오픈 소스 소프트웨어의 취약점 탐색 임무 부여
• 에이전트 간 상호 피어 리뷰(Peer-review) 및 중재 에이전트(Arbiter)를 통한 최종 결정

실험 결과, Claude Mythos Preview와 Opus 4.8 기반의 협업 스웜(Swarm)은 지속적인 속도로 새로운 취약점을 발견했다. 이는 단순히 독립된 에이전트를 병렬로 배치하는 방식보다 더 효과적인 협업 모델의 가능성을 보여준다.