DeltaNet 계열 선형 어텐션 변형 살펴보기

최근 주목받는 선형 어텐션(Linear Attention) 변형 모델들의 복잡한 구조를 수학적으로 분석하고, 각 모델이 무엇을 달성하고자 하는지 명확히 설명한다.

주요 분석 대상은 다음과 같다:

• Kimi Delta Attention (KDA): 상태 업데이트 방정식과 키(Key) 공간에서 값(Value) 공간으로의 매핑 과정을 다룬다.
• DeltaNet 계열: 상태(State) 업데이트 메커니즘과 오차(Error)를 통한 보정 과정을 수학적 표기법(Bra-ket notation)을 사용하여 설명한다.

이 글은 각 모델의 상태 업데이트(State Update), 오차 계산(Error Calculation), 그리고 최종적인 출력(Output) 생성 과정을 수식으로 풀어내어, 복잡해 보이는 선형 어텐션 변형들이 실제로는 어떤 논리적 흐름을 갖는지 기술적 통찰을 제공한다.