LLM은 당신이 약속받았던 블랙박스가 아니다

LLM은 더 이상 내부를 알 수 없는 '블랙박스'가 아닙니다. 기계적 해석 가능성(Mechanistic Interpretability) 기술이 발전하면서, 신경망의 내부 작동 방식을 역공학하여 이해하는 것이 가능해지고 있습니다. 특히 Anthropic의 2025년 연구인 'On the Biology of a Large Language Model'은 이 분야의 중요한 이정표를 제시합니다.

중첩(Superposition) 문제의 해결 단일 뉴런이 여러 무관한 개념에 참여하고, 하나의 개념이 여러 뉴런에 분산되어 있는 중첩 현상 때문에 LLM을 직접 해석하는 것은 매우 어렵습니다. 이를 해결하기 위해 연구자들은 '교체 모델(replacement model)'을 훈련시켜 모델의 활성화를 인간이 이해할 수 있는 희소한 특징(sparse features)으로 분해합니다. 이를 통해 'Texas'나 'Olympics'와 같은 고수준 개념을 식별할 수 있습니다.

회로 추적(Circuit Tracing) 기술 식별된 특징들이 순전파(forward pass) 과정에서 어떻게 상호작용하는지 추적하면, 계산 과정을 보여주는 **배선도(wiring diagram)**를 구축할 수 있습니다. 이를 통해 모델 내부의 논리적 흐름을 파악할 수 있습니다.

다단계 추론의 실체 실제 사례를 통해 모델이 중간 개념을 거쳐 진정한 다단계 추론을 수행함을 확인할 수 있습니다. 예를 들어, "Dallas가 포함된 주의 수도는 어디인가?"라는 질문에 대해 모델은 다음과 같은 순서로 작동합니다.

• Dallas 특징 활성화
• Texas 특징 활성화
• Austin 특징 활성화

이러한 과정은 모델이 고수준 개념 간의 의미론적 관계를 추적하며, 일종의 **의사 기호적 추론(pseudo-symbolic inference)**을 수행하고 있음을 보여줍니다.