M2 맥북프로 32GB Qwen 27B
Field report: Qwen 3.6 27b on an M2 Macbook Pro with 32GB RAM
·2026.04.29 06:01
M2 MacBook Pro 32GB RAM에서 Qwen 3.6 27B의 처리 속도가 52,000토큰 컨텍스트에서 4t/s로 급락했다.
32GB RAM의 M2 MacBook Pro에서 Qwen 3.6 27B를 4bit XS unsloth quant로 실행했다.
모델 파일은 Qwen3.6-27B-IQ4_XS.gguf와 Qwen3.6-27B-mmproj-BF16.gguf를 사용했다.
초기에는 prompt processing 80 t/s, generation 7.9 t/s였지만, 컨텍스트가 52,000토큰에 이르자 4 t/s pp, 3.1 t/s tg로 떨어졌다.
- 스와핑 징후는 보이지 않았고, 메모리 압박도 yellow 수준을 넘지 않았다.
llama-server는-c 131072,-batch-size 256,-ngl 99,-ctk q8_0,-ctv q8_0,--spec-type ngram-mod,--spec설정으로 돌렸다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.