HOLA: 선형 어텐션의 메모리 한계 극복

선형 어텐션(Linear-attention) 및 상태 공간 모델(SSM)은 고정된 크기의 재귀적 상태(Recurrent state)를 사용하여 메모리 효율성을 높이지만, 정보가 압축되는 과정에서 초기 데이터가 덮어씌워지는 정보 손실(Lossy memory) 문제가 발생합니다.

새롭게 제안된 **HOLA(Hippocampal Linear Attention)**는 보완적 학습 시스템(Complementary Learning Systems)에서 영감을 받아, 기존의 압축 메모리인 delta-rule state 외에 **경계가 있는 정확한 KV 캐시(Bounded exact KV cache)**를 추가하여 이 문제를 해결합니다.

주요 특징 및 성과:

• 세미 파라미터 테스트 타임 메모리: 상태(State)는 선형적으로 압축 가능한 구조를 모델링하고, 캐시는 상태에 담기 어려운 중요한 연관 관계를 저장합니다.
• 효율적인 캐시 관리: 학습된 제거 모듈 없이, 예측 잔차(Prediction residual)가 큰 토큰을 선별하여 캐시에 유지합니다.
• 성능 향상: 340M 파라미터 모델 기준, Wikitext perplexity를 27.32에서 22.92로 16.1% 개선하며 Transformer++ 성능을 상회했습니다.
• 긴 문맥 유지: RULER 벤치마크의 Needle-in-a-haystack 테스트에서 훈련 길이의 16배인 32k 토큰까지 매우 강력한 검색 성능을 유지합니다.