신경망 내부의 기하학적 구조

신경망의 내부 표현(internal representations)은 외부 세계의 구조를 반영하는 풍부한 기하학적 구조를 가지고 있습니다. 이는 모델의 종류나 데이터의 모달리티에 관계없이 공통적으로 관찰되는 현상입니다.

주요 연구 사례는 다음과 같습니다:

• 언어 모델: 숫자, 요일, 월(month) 등이 원형 루프(circular loops) 형태로 나타나며, 역사적 연도나 텍스트 내 문자는 매끄러운 곡선으로 표현됩니다.
• 이미지 모델: 객체의 공간적 배치와 색상(색조, 채도, 명도)이 매끄러운 표면(smooth surfaces) 위에서 구조화됩니다.
• 유전체 모델: 생명의 나무(tree of life)가 복잡한 매니폴드(manifold) 상에 존재하며, 특정 질병의 바이오마커가 깨끗한 곡선 형태로 발견되기도 합니다.

이러한 **신경 기하학(neural geometry)**을 규명하는 것은 AI의 내부 작동 원리를 이해하고, 모델을 더욱 정밀하게 제어하는 데 필수적인 열쇠가 될 것입니다.