AI BriefingKapitsa, M4 Pro에서 128 tok/s 달성
Benchmark: Recursive's Flint 40B A2.5B Q4 achieves 128 tok/s on MacBook Pro M4 Pro 48GB using Kapitsa, an open-source Apple Silicon optimized engine, Claude/Codex/Pi/OpenCode compatible.
·2026.10.22 21:17
핵심 내용
Kapitsa가 M4 Pro에서 128 tok/s 속도를 달성했다
자세히 보기
- Apple Silicon용 오픈소스 추론 엔진 Kapitsa가 MacBook Pro M4 Pro(48GB)에서 Recursive의 Flint 40B A2.5B Q4 모델로 127.9 tok/s 디코드 속도를 달성함
- 짧은 컨텍스트 구간에서 Recursive 네이티브 엔진과 성능이 동일하며(1% 차이), llama.cpp 대비 디코드 속도가 1.6배 빠름
- 128K 컨텍스트 구간에서 Kapitsa는 Recursive 엔진보다 1.30배, llama.cpp보다 1.9배 빠른 디코드 속도를 기록함
- 정확도 저하 없이 디코드 속도를 1.4배에서 1.5배까지 향상시키는 것을 목표로 하는 추측 디코딩용 KFlash 트리 드래프터 출시 예정
- macOS 27.0.1 High Power 모드에서 벤치마크를 수행했으며, Kapitsa의 피크 메모리 사용량은 23.3 GB로 Recursive 엔진(27.9 GB)보다 낮음
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.