어텐션 프리 Grassmann 아키텍처, 소규모 벤치마크서 Transformer와 10-15% 이내 퍼플렉시티 달성

• Plucker 좌표를 이용해 로컬 토큰 쌍을 2차원 부분공간으로 인코딩하는 Causal Grassmann 레이어를 제안함. 이는 LxL 어텐션 행렬을 형성하지 않는 어텐션 프리 아키텍처임.
• Wikitext-2 언어 모델링 벤치마크에서 1300만~1800만 파라미터 모델은 동일 규모 Transformer 대비 검증 퍼플렉시티가 약 10~15% 이내의 차이를 보임.
• SNLI 자연어 추론 작업에서 DistilBERT 위에 Grassmann-Plucker 헤드를 적용했을 때, 검증 및 테스트 정확도는 각각 0.8550과 0.8538을 기록함. 이는 Transformer 헤드의 0.8545와 0.8511보다 높은 수치임.
• 고정 랭크에서 시퀀스 길이에 대해 선형 스케일링을 제공하며, 신경 추론의 기하학적 및 불변 기반 해석을 위한 더 구조화된 경로를 지향함.

Technical Mechanism

• 정보는 멀티스케일 로컬 윈도우에서 저랭크 부분공간의 제어된 변형을 통해 전파됨.
• 핵심 연산은 비구조화 텐서 공간이 아닌 유한차원 다양체 위에서 수행됨.
• Causal Grassmann 레이어는 토큰 상태를 선형적으로 축소하고 로컬 쌍을 인코딩한 뒤, 게이트드 믹싱을 통해 기하학적 특징을 히든 상태로 융합함.