Attention 메커니즘의 구조적 결함 분석
[R] All Routes Lead to Collapse: attention sinks, representation collapse, and norm stratification are what content-based routing does under a norm-blind metric
Attention sinks와 Representation collapse가 Attention 자체의 문제가 아닌, Norm-blind한 유사도 측정 방식에서 기인함을 증명함.
Transformer의 주요 병목 현상으로 지목되는 Attention sinks, Representation collapse, Norm stratification이 사실은 Attention 메커니즘 자체의 결함이 아니라, Norm-blind(노름 무시) 유사도 측정 방식을 사용하는 Content-based routing의 기하학적 특성임을 밝혀냈다.
연구에 따르면, 표준 Dot-product attention은 Key의 크기(Magnitude)를 고려하지 않는 Norm-blind metric을 사용한다. 이로 인해 모델은 다음과 같은 보상 작용을 일으키며 구조적 병목을 형성한다.
- Routing concentration: 라우팅이 소수의 위치에 집중됨
- Representation collapse: 표현이 저차원 부분 공간(Low-rank subspace)으로 붕괴됨
- Norm stratification: Key의 노름(Norm)이 계층화되어, 공식적으로는 무시되는 크기 정보가 백채널(Back-channel) 역할을 수행함
이 현상은 GPT-2부터 Pythia 2.8B에 이르는 다양한 Transformer 모델과 Graph Attention Network(GAT) 등 다양한 라우팅 구조에서 공통적으로 관찰되는 보편적인 특성임이 확인되었다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.