AI BriefingKapitsa, Apple Silicon Metal 엔진으로 Qwen 27B 63 tok/s 달성
Kapitsa: open-source Apple Silicon optimized Metal engine built for Qwen and Nemotron. See benchmarks of Qwen 27B, Nemotron + 8 other models on an M1 Pro (16GB), M4 Pro (48GB) and M5 Max (128GB)
·2026.10.19 16:04
핵심 내용
Kapitsa가 Apple Silicon에서 Qwen 27B 모델을 63 tok/s로 실행한다
자세히 보기
- Apple Silicon용 오픈소스(Apache 2.0) 추론 엔진 Kapitsa는 Qwen과 NVIDIA Nemotron 모델 계열에 특화되어 로컬 코딩 에이전트 실행을 최적화함
- M4 Pro(48 GB) 환경에서 Qwen3.8 27B 모델이 63 tok/s 성능을 기록하며 mlx-serve(54 tok/s)와 Ollama(32 tok/s)를 상회함. M5 Max(128 GB)에서는 Qwen3.6 35B-A3B 모델이 272 tok/s에 도달함
- 아키텍처별 커스텀 Metal 커널, DFlash2와 DSpark, LiLiCorr을 활용한 투기적 디코딩, 재귀층을 처리하는 하이브리드 캐싱을 통해 성능을 향상시킴
- Qwen 3.5 4B, 3.8 27B, 3.6 35B-A3B, 3.8 Flash-Next 및 Nemotron 3.5 Lightning, Bolt, Super-VL, Dory 4B 모델을 지원함
- macOS 14 이상 및 M1 이후 하드웨어가 필요하며 Homebrew 또는 curl 스크립트를 통해 설치 가능함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
