Mirai uzu, M5 Max에서 Qwen3.6 27B 추측 디코딩 142.3 tok/s 달성

• 런던 소재 Mirai가 Apple Silicon용 Rust 기반 로컬 LLM 추론 엔진 uzu를 공개하고 M5 Max 기반 벤치마크를 제시함
• M5 Max 128GB 환경에서 Qwen3.6 27B 모델 추측 디코딩 시 142.3 tok/s, 자기회귀 35.6 tok/s, 입력 처리 1,665 tok/s 성능 기록
• 추측 디코딩 성능이 oMLX의 2.2배, llama.cpp의 3.0배이며, M5/M6 칩에서 MLX 대비 입력 속도가 중앙값 기준 1.5~1.6배 빠름
• Swift, Python, TypeScript 바인딩 제공 및 OpenAI 호환 HTTP 서버 CLI 지원, macOS/iOS 26.4 이상 환경에서 사용 가능
• Mirai 전용 양자화 형식(Mirai-M, Mirai-L) 사용하며, lalamo 도구를 통해 Hugging Face 공개 모델 변환 필요
• Linux/Windows 미지원 및 Qwen, LFM, Muse-Glimmer 계열 30여 개 모델만 지원, 한국어 품질 평가는 원본 모델과 직접 비교 권장

기술적 특징 및 한계

• DFlash-Weaver 하이브리드 구조의 추측 디코딩 적용, M5 GPU Neural Accelerator int8 경로 최적화
• 고수준 API 크레이트 대부분이 legacy 상태로 분류되어 버전 고정 필요
• 4비트 비대칭 정수 양자화(Mirai-M)와 8비트 대칭 양자화(Mirai-L) 제공, 블록 크기 32 랜덤 하다마드 변환 적용