AI 문명 창발은 암송? CIVOS 실험 결과 공개

멀티에이전트 시뮬레이션에서 관측되는 사회 및 문명의 '창발' 현상이 실제 탐색 과정인지, 아니면 LLM이 학습한 인류사의 '암송'인지 구분하기 어려운 문제가 제기됐다. 이를 해결하기 위해 사전지식의 가용성만 조작하는 대조군 실험 프레임워크 CIVOS가 공개됐다.

실험 설계 및 결과

CIVOS는 과제 구조를 고정하고 에이전트가 사용하는 사전지식의 상태를 네 가지 조건으로 구분하여 검증했다.

• 조건 A (전체): 사전지식 완전 가용
• 조건 B (제거): 사전지식 차단
• 조건 C (오류): 사전지식 오염
• 조건 D (바닥): LLM 없는 무작위 시뮬레이션

실험 결과, 사전지식을 제거한 조건 B에서 발견 과정이 유의미하게 하락했다. 이는 관측된 문명 발전이 상당 부분 모델의 학습된 지식(암송)에 의존함을 시사한다. 또한, 오염된 지식을 사용한 조건 C가 제거 조건보다 성능이 더 나쁜 경우가 다수 관측되어, 잘못된 사전지식이 탐색을 방해할 수 있음을 확인했다.

통계적 엄밀성과 교훈

연구팀은 초기 실험에서 검정력 부족으로 인해 유의미한 결과를 '음성'으로 오독한 사례를 공개하며, 다중비교 보정과 충분한 시드 수(40개 이상)의 중요성을 강조했다. 부호반전 순열 검정과 Bonferroni 보정을 적용한 결과, 지식 제거에 따른 성능 저하 효과는 통계적으로 견고했다.

이 연구는 멀티에이전트 시스템의 '지능'을 평가할 때, 모델의 사전학습 편향을 통제하지 않으면 실제 문제 해결 능력과 단순 암송을 구분할 수 없음을 경고한다.