Infini-Attention 실험 결과: 긴 문맥 확장의 한계와 대안

LLM의 문맥 길이(Context Length)를 확장하는 것은 모델 성능의 핵심 요소입니다. Google이 제안한 Infini-attention은 시퀀스를 세그먼트로 나누고 이전 세그먼트를 고정된 버퍼에 압축하여 메모리 사용량을 제한함으로써 이론적으로 무한한 문맥 확장을 목표로 합니다.

하지만 HuggingFace의 재현 실험 결과, Infini-attention은 메모리 압축 횟수가 증가할수록 성능이 오히려 저하되는 문제가 나타났습니다. 압축 과정에서 정보 손실이 발생하여, 압축된 메모리가 유효한 정보를 충분히 담지 못하기 때문입니다.

현재 사전 학습된 모델의 문맥 길이를 효과적으로 확장하기 위한 가장 우수한 방법론으로는 다음과 같은 기술들이 제시되었습니다:

• Ring Attention: 시퀀스 차원을 여러 장치에 분산하여 계산 및 통신을 수행
• YaRN 및 RoPE scaling: 회전 위치 임베딩(RoPE)을 조정하여 긴 문맥 대응