MiMo v2.5 추론 최적화: Hybrid SWA 효율성을 극한으로 끌어올리기

MiMo-V2.5 모델 시리즈는 Hybrid Sliding Window Attention (Hybrid SWA), Sparse MoE, 그리고 멀티모달 인코더를 결합하여 긴 문맥(Long-context) 처리 능력과 효율성을 동시에 확보하도록 설계되었습니다.

Hybrid SWA는 전체 레이어 중 일부(MiMo-V2.5-Pro 기준 10개)는 Full Attention을, 나머지 60개 레이어는 **Sliding Window Attention (SWA)**을 사용합니다. 이를 통해 다음과 같은 성능 향상을 달성합니다.

• 연산량(Compute) 절감: Full Attention 대비 약 1/7 수준으로 연산 복잡도를 낮추어 Prefill 단계의 비용을 크게 줄입니다.
• KVCache 저장 공간 최적화: SWA 레이어가 윈도우 내의 KV만 유지하므로, 메모리 사용량을 약 1/7로 감소시켜 Decode 단계의 지연 시간을 단축합니다.

본 아티클은 이론적 이점을 실제 프로덕션 환경에서 구현하기 위한 엔지니어링 실무를 다룹니다. 주요 최적화 요소는 다음과 같습니다.

• KVCache 관리: 계층형 캐싱 시스템 및 SWA를 고려한 Prefix Cache Tree 적용
• 스케줄링: Prefill/Decode 실행 파이프라인 최적화 및 분산 캐시 상태 동기화
• MoE 및 멀티모달 최적화: 분산 스케줄링의 부하 분산(Load balancing) 및 멀티모달 인코더의 처리량(Throughput) 병목 현상 해결