M2 맥북프로 32GB Qwen 27B

Field report: Qwen 3.6 27b on an M2 Macbook Pro with 32GB RAM

·2026.04.29 06:01

핵심 내용

M2 MacBook Pro 32GB RAM에서 Qwen 3.6 27B의 처리 속도가 52,000토큰 컨텍스트에서 4t/s로 급락했다.

32GB RAM의 M2 MacBook Pro에서 Qwen 3.6 27B를 4bit XS unsloth quant로 실행했다.

모델 파일은 Qwen3.6-27B-IQ4_XS.gguf와 Qwen3.6-27B-mmproj-BF16.gguf를 사용했다.

초기에는 prompt processing 80 t/s, generation 7.9 t/s였지만, 컨텍스트가 52,000토큰에 이르자 4 t/s pp, 3.1 t/s tg로 떨어졌다.

스와핑 징후는 보이지 않았고, 메모리 압박도 yellow 수준을 넘지 않았다.
llama-server는 -c 131072, -batch-size 256, -ngl 99, -ctk q8_0, -ctv q8_0, --spec-type ngram-mod, --spec 설정으로 돌렸다.

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.