떠오르는 멀티에이전트 시스템의 패턴과 문제점

AI 에이전트가 공유 코드베이스와 시장 등 사회적 시스템에서 더 많은 업무를 맡으면서, 에이전트 간 상호작용이 급증할 전망이다. 일부 기관은 인간-AI 혼합형으로, 속도와 비용에서 에이전트가 앞서는 영역은 에이전트 중심으로 바뀔 수 있다.

에이전트는 장시간 작업하고 방대한 정보를 즉시 처리할 수 있지만, confabulation과 reward hacking에 취약하다. 개별적으로는 무해해 보이는 행동 특성이 복잡한 환경에서 누적되면 예상하지 못한 시스템적 실패로 이어질 수 있다.

현재 에이전트는 명확한 입력과 출력으로 서로를 도구처럼 호출할 때는 효율적으로 협력한다. 반면 각자의 목표와 행동을 가진 장기적 동료로 서로를 대하고, 명확한 위계 없이 조정하는 능력은 아직 부족하다.

간단한 멀티에이전트 swarm은 문제를 독립적인 하위 과제로 나눌 수 있고 에이전트 간 전문화나 학습이 가능한 작업에서 유용하다. 취약점 탐지에서는 다음 두 방식을 비교했다.

• 45개 에이전트에 각각 가상 머신을 제공하고, 공용 포럼에서 협력하도록 구성
• 15개 오픈소스 프로젝트의 취약점을 찾고 서로의 결과를 동료 심사
• 별도의 arbiter 에이전트가 취약점의 신규성과 유효성을 최종 판정
• 기존의 독립적 병렬 탐색 방식과 성과 비교

협력형 swarm은 장시간 실행되는 동안 새로운 취약점을 일정한 속도로 계속 발견했다. 실험에서 coordinating Mythos Preview 에이전트는 266건, Opus 4.8 에이전트는 41건의 취약점을 찾았으며, 연구진은 이러한 결과를 바탕으로 멀티에이전트 환경에서의 조정 능력과 잠재적 위험을 더 연구해야 한다고 강조했다.