SAE는 신경망의 기하학적 구조를 포착할 수 있는가?

신경망의 표현(representation)에는 곡선 형태의 기하학적 구조가 풍부하게 존재하지만, 이를 다루기에는 직선 형태의 도구가 훨씬 용이하다. **Sparse Autoencoders (SAEs)**는 활성화 공간의 여러 방향을 사용하여 신경망의 내부 세계를 매핑하는 대표적인 해석 가능성(interpretability) 도구다.

하지만 개별 SAE feature는 곡선 형태의 매니폴드(manifold)를 완전히 파악하지 못하고 부분적인 모습만 보여준다. 연구에 따르면 SAE가 기하학적 구조를 포착하는 방식은 다음 세 가지로 구분된다.

• Shattering: 매니폴드의 모든 점을 개별적인 특징으로 각각 표현하여 곡선 구조를 타일링함.
• Compact capture: 적은 수의 공유된 특징을 사용하여 매니폴드를 좌표계처럼 표현함.
• Dilution: 특징들이 부분적으로 공유되며 매니폴드의 특정 영역을 담당함.

실제 신경망에서는 Dilution 현상이 주로 관찰된다. 개별 SAE 방향은 매니폴드의 의미 있는 국소 영역을 포착하지만, 전체 구조는 여러 방향에 분산되어 있어 개별 특징만으로는 전체를 이해하기 어렵다.

이를 해결하기 위해 개별 특징을 따로 해석하는 대신, 특징들을 그룹화하여 전체 구조를 복원하는 **비지도 학습 파이프라인(unsupervised pipeline)**을 개발했다. 이 파이프라인은 Llama 3.1 8B에서 매우 풍부하고 구체적인 신경망 기하학 구조를 성공적으로 찾아냈다.