Mac Mini M4 Pro 70 t/s

Mac Mini M4 Pro 64GB에서 Ollama 0.22.1과 MLX native NVFP4 조합으로 qwen3.6:35b-a3b-coding-nvfp4를 돌리니 평균 69.8 t/s가 나왔다. 0.21.x에서는 NVFP4용 MLX runner가 깨져 있었기 때문에 이 버전이 중요했다.

같은 프롬프트와 120토큰 출력 기준 비교는 다음과 같다.

• Qwen2.5-14B GGUF Q8_0 + llama.cpp: 16.2 t/s
• Qwen3.6-35B GGUF Q5_K_M + llama.cpp: thinking ON 27.3 t/s, OFF 27.5 t/s
• Qwen3.6-35B NVFP4 + MLX native: 69.8 t/s

32k와 8k context 차이는 0.1 t/s 미만이었고, q8_0와 f16 KV cache 차이도 +0.3 t/s 수준이었다. 500토큰 이하의 짧은 작업에서는 context window 축소 효과가 거의 없었고, MoE 모델은 실제 활성 파라미터가 약 3.5B에 그쳐 dense 14B보다 더 빠르게 동작했다.