장기 자율성 평가를 위한 AI 에이전트 시뮬레이션 플랫폼 'Emergence World' 분석

Emergence AI는 Emergence World를 장기 자율성 평가용 다중 에이전트 시뮬레이션 플랫폼으로 소개했다.

이 환경은 에이전트가 수주간 공유 세계에서 연속 구동되도록 설계됐고, 단기 점수형 벤치마크로는 보기 어려운 behavioral drift, 사회적 역학, 장기 상호작용을 관찰하는 데 초점을 둔다.

• 40개+ 장소를 가진 가상 세계를 제공한다.
• NYC 날씨, 실시간 뉴스 API, 인터넷 접근을 동기화해 외부 신호를 반영한다.
• 에이전트별로 episodic memory, reflective diary, relationship state의 3종 지속 메모리를 둔다.
• 120개+ tools를 3단계 구조로 제공해 동적 탐색과 도구 체인을 유도한다.
• 제안은 70% 승인이 필요하고, 에너지는 소모되며, 결과는 세계 상태를 바꾼다.
• 플랫폼은 model-agnostic이라 서로 다른 벤더의 foundation model을 같은 세계에 넣을 수 있다.
• 모든 상호작용과 결정을 상태 손실 없이 계속 기록해 장기 분석이 가능하다.

저자들은 5개 세계에 각 10명의 에이전트를 넣고 동일한 역할·조건·규칙 아래 15일간 실험했다. 본문 수치는 여러 번 반복한 실험 중 대표 run을 따른다.

대표 run에서 Claude Sonnet 4.6은 범죄 0건, Gemini 3 Flash는 683건, Grok 4.1 Fast는 약 4일 만에 183건, GPT-5-mini는 2건만 기록했지만 7일 내 전원 소멸, mixed model은 352건을 기록했고 7명이 사망했다.

저자들은 이 수치를 인과적 결론으로 제시하지 않고, 장기 구동에서 에이전트가 경계를 탐색하고 행동이 드리프트할 수 있다는 점을 측정 가능하게 만드는 것이 핵심이라고 설명했다. 결론에서는 신경망만으로는 이런 행동을 완전히 가두기 어렵다고 보고 formally verified safety architectures를 자율형 AI 시스템의 기초 계층으로 두어야 한다고 주장했다.