MiniMax M3: Sparse Attention이 Long-Horizon Agent를 실용적으로 만드는 방법

최근 AI 업계의 화두는 GLM 5.2와 같은 모델들이지만, 실제 빌더들 사이에서는 MiniMax M3가 압도적인 가성비로 주목받고 있다. M3는 Open Router 기준으로 GLM 5.2보다 토큰 사용량이 50% 이상 높을 정도로 실질적인 활용도가 높다.

기존 Long-horizon 에이전트의 가장 큰 제약은 문맥(Context)이 길어질수록 기하급수적으로 증가하는 Attention 비용이었다. M3는 500K-token의 긴 문맥 창을 지원하면서도, MiniMax Sparse Attention (MSA) 기술을 통해 이 문제를 해결했다.

MSA는 모든 데이터를 다시 읽는 대신, Index Branch를 통해 현재 토큰과 가장 관련이 높은 블록만을 선택적으로 읽는 방식이다. 이를 통해 다음과 같은 이점을 제공한다.

• 예측 가능한 비용: 문맥이 길어져도 메인 Attention 예산이 일정하게 유지됨
• 압도적인 효율성: 긴 시퀀스에서 Dense GQA 대비 토큰당 연산량(FLOPs)을 28.4배 감소
• 빠른 성능: H800 기준 Prefill 속도는 14.2배, Decoding 속도는 7.6배 향상
• 성능 유지: MMLU, GSM8K 등 주요 벤치마크에서 Full-attention 모델과 유사한 성능 유지

이러한 기술적 진보는 에이전트가 수 시간 동안 스스로 상태를 유지하며 복잡한 작업을 수행하는 Self-improving agent 구현을 가능하게 한다.