MiMo-V2.5 GGUF 공개

309B 파라미터의 mimo2 아키텍처인 XiaomiMiMo/MiMo-V2.5를 텍스트 전용 GGUF로 양자화했다.

이미지·오디오 입력은 포함되지 않았고, 멀티모달 지원은 llama.cpp upstream에 반영되기 전까지 사용할 수 없다. attention_value_scale 지원을 위해서는 최신 llama.cpp 메인보다 PR #22493 브랜치 빌드가 권장된다.

MoE 구조에서 비중이 큰 FFN 텐서를 중심으로 혼합 양자화를 적용해, 전체 용량을 줄이면서 품질 저하를 억제하도록 설계했다.

• Q8_0: 305.68 GiB, PPL 5.135221, base 대비 +0.1229%
• Q5_K_M: 212.42 GiB, PPL 5.142293, +0.2608%
• Q4_K_M: 176.70 GiB, PPL 5.204791, +1.4793%
• IQ4_XS: 136.78 GiB, PPL 5.270911, +2.7685%
• IQ3_S: 105.33 GiB, PPL 5.547074, +8.1529%

KLD와 PPL 곡선을 함께 공개해 각 양자화의 용량-품질 트레이드오프를 비교할 수 있게 했다.