샤오미의 MiMo, ChatGPT 및 Claude보다 15배 빠른 속도 구현

샤오미와 추론 파트너인 TileRT는 1조 개의 파라미터를 보유한 MiMo-V2.5-Pro-UltraSpeed 모델을 개발했다. 이 모델은 표준 8-GPU commodity node 환경에서 초당 1,000 tokens의 압도적인 추론 속도를 기록했다.

이러한 성능은 다음과 같은 기술적 혁신을 통해 달성되었다.

• FP4 quantization: 모델의 expert layers에 적용하여 효율성 극대화
• DFlash speculative decoding: 토큰을 하나씩 생성하는 대신 한 번의 패스로 전체 블록을 제안하는 방식

해당 모델은 6월 9일부터 6월 23일까지 한정된 API trial을 제공한다. 비용은 표준 MiMo-V2.5-Pro 요율보다 3배 높지만, 출력량은 약 10배 더 많다.