MSA, 1억 토큰 메모리 모델 발표

MSA는 retrieval과 generation을 하나의 end-to-end 루프로 묶는 latent-memory 프레임워크다. 기존 full attention 병목을 줄이기 위해 document-wise RoPE와 sparse attention을 결합해 긴 문서 집합을 메모리처럼 다루는 방식을 제안한다.

핵심 구성은 다음과 같다.

• Scalable sparse attention + document-wise RoPE로 학습/추론 복잡도를 거의 선형으로 유지한다.
• KV cache compression과 Memory Parallel로 2xA800 GPU에서 100M token 추론을 목표로 한다.
• Memory Interleave로 흩어진 메모리 구간 사이의 다중 홉 추론을 강화한다.

평가에서는 Qwen3-4B-Instruct-2507 백본으로 MS MARCO v1, NQ, DuReader, TriviaQA, NarrativeQA, PopQA, 2WikiMultiHopQA, HotpotQA, MuSiQue와 NIAH(RULER) 를 테스트했다. 논문은 동일 백본 RAG, 상위 RAG 스택, 주요 long-context 모델보다 우수하다고 보고하며, 16K→100M tokens 구간에서 성능 저하를 9% 미만으로 제시한다.