AI BriefingGoogle Research, 25MB 상태로 10M 토큰 처리하는 Muir 공개
·2026.11.07 04:10
핵심 내용
Muir가 32K 컨텍스트에서 Splash Attention보다 2.7배 빠르게 학습했다
자세히 보기
- Google Research가 10M 토큰의 히스토리를 고정된 25 MB 상태로 압축하는 선형 어텐션 모델 Muir를 공개함. 이는 표준 1.3B Transformer가 요구하는 2.1 TB KV 캐시를 회피함.
- Muir는 매칭 필터 리드아웃을 도입해 느리게 감쇠하는 행을 균등화하고, Gated DeltaNet-2(GDN-2) 대비 쓰기 소거를 17% 완화하며 회고 지평선을 60% 확장함.
- 융합된 랭크-512 투영을 통해 게이트 매개변수를 4.5배 줄이고, 엄격한 매개변수 예산을 유지하면서 FFN 폭을 30.4% 증가시킴.
- 1M 토큰에서 90.0%의 제로샷 패스키 정확도를 달성하고 10M 토큰 스트리밍 시 퍼플렉시티 드리프트 없이 작동함. 반면 GDN-2는 4K~8K 토큰 이후 붕괴하고 Transformer는 64K 이후 메모리 부족을 겪음.
- 성능 벤치마크에서 Muir는 퍼플렉시티와 제로샷 추론에서 GDN-2와 Transformer를 상회하며, 32K 컨텍스트에서 GDN-2 대비 1.2배의 토큰 효율과 Splash Attention 대비 2.7배 빠른 학습 속도를 기록함.
- GDN-2 대비 회상 지표가 크게 개선되어, RULER 5-hop Variable Tracking 루트 유지율이 28.4%에서 48.0%로 상승하고 8K에서의 초기 깊이 회상률이 1%에서 31%로 증가함.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
