슬라이딩 윈도우가 선형 어텐션을 능가하다

Alexia Jolicoeur-Martineau와 공동 연구자들이 **슬라이딩 윈도우 어텐션(Sliding-window attention)**과 **어텐션 싱크(attention sinks)**를 결합한 새로운 기법을 제시하는 논문을 공개했다.

이 연구는 기존 2차(quadratic) 어텐션 메커니즘을 대체할 수 있는 가능성을 탐구하며, 별도의 후처리(post-training) 없이도 선형 어텐션보다 우수한 성능을 달성했다고 보고했다.

• 핵심 기술: 슬라이딩 윈도우 어텐션에 어텐션 싱크를 적용하여 메모리 효율성과 성능을 동시에 확보
• 주요 성과: 별도의 후처리 과정 없이 선형 어텐션의 성능을 상회
• 실무적 영향: 메모리 제약이 있는 로컬 LLM 추론(inference) 환경에서 큰 잠재력을 가짐