AI BriefingKapitsa, M4 Pro 맥에서 Qwen 3.6 35B 154 tok/s 달성
Qwen 3.6 35B 154 tok/s on 2024 Macbook M4 Pro 48GB with Kapitsa: Open-source Apple Silicon optimized custom Metal engine built for Qwen. See benchmarks of Qwen 3.8 27B, Qwen3.6 35B, 3.8 Flash-Next on M1 Pro (16GB), M4 Pro (48GB) and M5 Max (128GB)
·2026.10.19 17:35
핵심 내용
Nace.ai가 Apple Silicon용 오픈소스 추론 엔진 Kapitsa를 출시했다.
자세히 보기
- Nace.ai가 Apple Silicon에서 Qwen 및 NVIDIA Nemotron 모델을 로컬로 실행하도록 최적화된 오픈소스(Apache 2.0) 추론 엔진 Kapitsa를 출시함
- MacBook Pro M4 Pro(48GB)에서 Qwen3.6 35B-A3B는 154 tok/s, Qwen3.8 27B는 63 tok/s 성능을 기록하며 mlx-serve, Ollama, llama.cpp를 추월함
- MacBook Pro M5 Max(128GB)에서는 Qwen3.6 35B-A3B가 272 tok/s, Qwen3.8 Flash-Next가 105 tok/s에 도달함
- 아키텍처별 커스텀 Metal 커널, 스펙ulative decoding(DFlash2, DSpark, LiLiCorr), 하이브리드 KV/재귀 상태 캐싱을 통해 성능 향상 달성함
- Qwen 3.5 4B, 3.8 27B, 3.6 35B-A3B, 3.8 Flash-Next 및 Nemotron 3.5 Lightning, Bolt, Super-VL, Dory 4B 지원함
- Apple Silicon(M1 이상) 및 macOS 14+ 필요하며, 다른 모델 아키텍처는 지원하지 않음
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
