RoPE의 설계 원리 분석

Transformer의 self-attention은 permutation equivariant(치환 불변성)를 가진 집합 연산이므로, 위치 정보가 없다면 동일한 토큰이 서로 다른 위치에 있더라도 동일한 출력을 내놓는 한계가 있습니다.

본 글은 Llama 3.2 등 최신 모델에서 표준으로 사용되는 **RoPE(Rotary Positional Encoding)**가 어떤 논리적 단계를 거쳐 설계되었는지 설명합니다. 이상적인 positional encoding이 갖춰야 할 5가지 핵심 속성은 다음과 같습니다:

• 위치별 고유성: 시퀀스 길이에 관계없이 각 위치가 고유한 인코딩을 유지해야 함.
• 선형적 관계: 위치 간의 관계가 수학적으로 단순하여 모델이 패턴을 학습하기 용이해야 함.
• 길이 확장성: 학습 데이터보다 긴 시퀀스에 대해서도 일반화가 가능해야 함.
• 결정론적 프로세스: 모델이 효율적으로 학습할 수 있도록 결정론적인 방식으로 생성되어야 함.
• 다차원 확장성: 멀티모달 데이터를 처리할 수 있도록 1D에서 2D, 3D로 확장이 가능해야 함.

이러한 속성들을 단계적으로 충족하며 최적의 인코딩 방식을 찾아가는 과정을 다룹니다.