MiMo-V2.5 310B MoE 공개
XiaomiMiMo MiMo-V2.5 (not pro) - Architecture: Sparse MoE (Mixture of Experts), 310B total / 15B activated parameters
·2026.04.29 03:27
XiaomiMiMo가 310B/15B 규모의 MiMo-V2.5 비 Pro 모델을 공개했다.
XiaomiMiMo가 MiMo-V2.5를 공개했다. Sparse MoE 기반 omnimodal 모델로, 총 310B 파라미터 중 15B를 활성화한다.
텍스트, 이미지, 비디오, 오디오를 단일 아키텍처에서 처리하며, 컨텍스트 길이는 최대 1M tokens다.
- 비 Pro는 Pro 대비 총 파라미터를 1.02T → 310B, 활성 파라미터를 42B → 15B로 낮췄다.
- 백본은 48층(1 dense + 47 MoE), routed experts 256, experts per token 8로 구성됐다.
- 학습은 약 48T tokens를 FP8 mixed precision으로 진행했다.
- SWA:GA 5:1와 128 슬라이딩 윈도로 KV cache 저장량을 약 6배 줄인다고 설명한다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.