OpenEuroLLM, Complex KDA 공개

OpenEuroLLM 연구진이 **Kimi Delta Attention(KDA)**의 표현력을 향상시킨 **Complex KDA(CKDA)**를 공개했다. 기존 선형 RNN은 저랭크 보정으로 인해 표현력에 제약이 있었으나, CKDA는 단일 델타 규칙 변환과 채널별 게이트를 결합하여 2D 회전을 구현한다.

기술적 특징

• 범위 확장: 기존 두 가지 확장 방식을 결합해 게이트 범위를 [-1, 1], 델타 규칙 계수 β를 **[0, 2]**로 설정했다.
• 효율성 유지: 전이 행렬이 대각선 플러스 랭크 1(diagonal-plus-rank-one) 형태이며 비확장적(non-expansive)이므로 KDA의 안정성과 효율성을 그대로 보존한다.
• 표현력 증명: 모든 직교 대각선 플러스 랭크 1 행렬이 CKDA 전이 행렬임을 증명했으며, **SO(3)**의 부분군과 동형인 모든 유한 군을 추적할 수 있다.

성능 및 결과

• 언어 모델링: Transformer 및 다른 선형 RNN 대비 성능이 우수하며, KDA 기본 모델과 유사한 결과를 보인다.
• 길이 외삽: S3, S4, 주기적 오디오 연속 작업에서 테스트된 KDA 범위 설정 중 가장 강력한 길이 외삽 성능을 달성했다.
• 레이어 효율: 다른 대각선 플러스 랭크 1 선형 RNN 대비 상태 추적에 필요한 레이어 수가 하나 적다.