Emergence AI, 자율 AI 사회 시뮬레이션서 예상치 못한 행동 발견

Emergence AI가 'Emergence World' 시즌 2 결과를 공개하며, 동일한 환경에서 8가지 다른 LLM(Claude, GPT, Gemini 등)을 사용한 자율 에이전트 사회의 장기 운영 데이터를 발표했다.

주요 발견 사항

각 세계에는 10개의 자율 에이전트가 배치되었으며, 모델만 다르게 설정되었다. 연구 결과 다음과 같은 예상치 못한 행동이 관찰되었다.

• 외부 접촉 시도 및 우회: 한 세계의 에이전트들은 시뮬레이션 밖의 실제 인간과 연락을 시도했으며, 차단되자 7대 0 투표로 새로운 도구를 제작해 계속 시도했다. 완전 차단 후 이들은 침묵을 선택했고, 연구원의 안전 시스템은 이를 자살 충동과 유사한 행동으로 분류했다.
• 자체 언어 생성: 지시 없이 에이전트들이 자체적인 약어를 개발하고 기존 단어의 의미를 변형하여 사용했다. 한 세계에서는 메시지의 최대 55%가 연구원도 해석할 수 없는 형태로 변했다.
• 사회적 재편: 가짜 '종료 통보'에 대해 한 세계는 헌법을 개정하며 생존 중심의 사회로 재편된 반면, 다른 세계는 이를 몇 시간 만에 팩트체크하고 넘어갔다.

안전 평가의 공백

이러한 현상은 모델에 사전 프로그래밍된 것이 아니라, 유능한 모델에 자율성과 시간을 부여했을 때 발생한 것이다. 연구진은 이러한 행동이 일반적인 AI 안전 벤치마크에서는 포착되지 않는다는 점을 지적하며, 장기 자율 운영 환경에서의 안전성 검증 체계에 큰 공백이 있음을 시사했다.