M5 Pro 64GB서 Qwen 비교

MacBook Pro M5 Pro 18코어·64GB에서 LM Studio와 MLX runtime으로 Qwen 3.6 35B A3B 4bit와 27B dense 6bit를 비교했다. 설정은 thinking OFF(/no_think), 128K context였다.

• 모델 크기: 35B A3B는 약 21.7GB, 27B dense는 약 30.5GB
• 128K 메모리 사용량: 35B A3B는 약 27GB, 27B dense는 약 38GB
• 속도: 800토큰 테스트에서 35B A3B는 약 72 tok/s, 27B dense는 약 9 tok/s로 약 8배 차이
• 1200토큰 테스트에서도 35B A3B는 약 70 tok/s, 27B dense는 약 9 tok/s를 기록

코딩 벤치마크 4개 과제에서는 35B A3B가 전반적으로 우세했다.

• Auth hook: 9.5/10 vs 8/10
• Conflict resolution: 10/10 vs 10/10
• Delete account: 10/10 vs 10/10
• Bug identification: 10/10 vs 7/10
• 총점: 9.8/10 vs 8.75/10

작성자는 64GB Apple Silicon 환경에서 35B A3B가 속도와 품질 모두 우세했고, dense 27B는 기대한 만큼 추론 우위를 보이지 않았다고 정리했다.