MiMo V2.5 추론 최적화

MiMo-V2.5 모델 제품군은 Hybrid SWA(Hybrid Sliding Window Attention), MoE(Mixture of Experts), 그리고 멀티모달 인코더를 결합한 아키텍처를 채택했다. 이를 통해 긴 문맥(Long-context) 시나리오에서 성능과 효율성을 동시에 확보했다.

Hybrid SWA는 로컬 윈도우를 사용하는 SWA 층과 전체 문맥을 보는 Full Attention 층을 교차 배치한다. MiMo-V2.5-Pro의 경우 총 70개 층 중 60개를 SWA로 구성하여, Full Attention 대비 연산량(Compute)과 KVCache 저장 공간을 약 1/7 수준으로 절감했다.

이러한 이론적 이점을 실제 프로덕션 환경에서 구현하기 위해 다음과 같은 엔지니어링 최적화를 수행했다.

• KVCache 관리: SWA 구조에 최적화된 계층형 캐싱 시스템 및 Prefix Cache Tree 적용
• 스케줄링: Prefill/Decode 실행 파이프라인 최적화 및 분산 캐시 상태 동기화
• 멀티모달 최적화: 대규모 이미지 및 긴 비디오 처리 시 발생하는 스루풋 병목 현상 해결

결과적으로 MiMo-V2.5 시리즈는 이론적인 아키텍처의 효율성을 실제 추론 시스템에서 성공적으로 구현하며, 긴 문맥 추론과 멀티모달 이해 능력에서 뛰어난 성능을 보여준다.