AI BriefingMiMo-V2.5 310B MoE 공개
XiaomiMiMo MiMo-V2.5 (not pro) - Architecture: Sparse MoE (Mixture of Experts), 310B total / 15B activated parameters
·2026.04.29 03:27
핵심 내용
XiaomiMiMo가 310B/15B 규모의 MiMo-V2.5 비 Pro 모델을 공개했다.
1 / 2
자세히 보기
XiaomiMiMo가 MiMo-V2.5를 공개했다. Sparse MoE 기반 omnimodal 모델로, 총 310B 파라미터 중 15B를 활성화한다.
텍스트, 이미지, 비디오, 오디오를 단일 아키텍처에서 처리하며, 컨텍스트 길이는 최대 1M tokens다.
- 비 Pro는 Pro 대비 총 파라미터를 1.02T → 310B, 활성 파라미터를 42B → 15B로 낮췄다.
- 백본은 48층(1 dense + 47 MoE), routed experts 256, experts per token 8로 구성됐다.
- 학습은 약 48T tokens를 FP8 mixed precision으로 진행했다.
- SWA:GA 5:1와 128 슬라이딩 윈도로 KV cache 저장량을 약 6배 줄인다고 설명한다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.