LLM이 인간 같은 속성을 가진다면 Age of Empires II도 그렇다

LLM 연구에서 빈번하게 발생하는 **의인화 평가(anthropomorphic evaluation)**의 방법론적 결함을 지적한다. 많은 연구가 LLM에 도덕성이나 공감 능력 같은 인간적 속성이 존재한다고 가정하고 이를 측정하려 하지만, 이러한 전제는 실험 설계와 결과 해석을 왜곡할 위험이 크다.

연구는 **기질(substrate)**의 중요성을 강조한다. Age of Empires II와 같이 튜링 완전한 환경 내에 신경망을 구현할 경우, LLM과 유사한 엔티티를 만들어낼 수 있다. 이는 LLM이 보여주는 인간적인 행동이 모델 고유의 능력이 아니라, 모델이 구동되는 환경이나 출력 방식에 따라 결정되는 비고유적(non-unique) 속성일 수 있음을 의미한다.

결론적으로, 의인화된 속성의 존재 여부를 미리 가정하고 실험하는 방식은 순환적 논리에 빠질 위험이 크다. 따라서 보다 엄밀한 연구를 위해서는 LLM의 의인화 속성을 당연시하지 않는 **'LLM 비고유성'을 가정하는 귀무가설(null hypothesis)**을 채택하고, 명시적인 측정 기준을 수립해야 한다.