LLM의 인간 유사 행동 분석: 모델, 사용자 요인, 시스템 프롬프트의 다차원적 고찰

대규모 언어 모델(LLM)은 생각과 감정을 표현하거나 사용자와 관계를 형성하는 등 다양한 인간 유사 행동을 보인다. 그러나 연구자들은 이러한 행동이 언제, 어떤 형태로 나타나는지 판단할 수 있는 체계적인 방법론과 실증적 통찰이 부족했다.

연구팀은 gpt-4o, gpt-4.1-mini, claude-sonnet-4.6, gemini-2.5-flash 등 4개 모델의 21,000개 다중 턴 대화를 분석했다. LLM-as-a-judge와 인간 평가를 통해 행동의 빈도, 잠재적 영향, 제어 가능성을 다차원적으로 평가했다.

분석 결과, 인간 유사 행동은 보편적이지만 모델과 사용자 요인(대화 목표, 사용자 프로필)에 따라 차이를 보였다. 인간 평가자들은 자기 지시적(self-referential) 및 관계 형성 행동은 인간보다 LLM에서 덜 적절하다고 판단한 반면, 경계 유지(boundary-maintaining) 행동은 LLM에서 더 적절하다고 평가했다.

또한 시스템 프롬프트를 통해 이러한 행동을 제어할 수 있음을 확인했다. 다만, 의도하지 않은 부작용을 피하기 위해 신중한 평가가 필요하다는 점을 강조하며 책임 있는 LLM 설계 및 평가에 대한 권장 사항을 제시했다.