LLM 내부 표현이 상징적 구조를 암시적으로 구현한다는 연구 발표

McCoy 등 연구진은 현대 AI 시스템이 연속 벡터로 정보를 표현함에도 불구하고, 내부적으로 **상징적 구조(symbolic structure)**를 암시적으로 구현하고 있을 가능성을 제시했다.

연구에 따르면 다양한 신경망의 벡터 표현을 **상징적 구조를 인스턴스화하는 폐형식 방정식(closed-form equation)**으로 근사할 수 있으며, 이 경우에도 네트워크의 동작은 거의 변하지 않는다. 이 현상은 리스트 조작을 학습한 소형 신경망뿐 아니라 산술, 논리, 컴퓨터 코드, 언어 등 4개 영역에서 작동하는 **대형 언어 모델(LLM)**에서도 확인됐다.

특히 이러한 상징적 근사를 통해 LLM의 내부 표현에 정밀한 개입을 가하면 모델의 동작을 목표한 대로 수정할 수 있음을 보였다. 이는 LLM의 동작이 식별된 상징적 구조에 의존한다는 증거이며, 전통적인 상징주의 지능 개념과 현대 AI의 벡터 기반 특성을 조화시킬 수 있는 단서를 제공한다.