Qwen3.6-27B MLX 3비트 공개

Qwen/Qwen3.6-27B를 MLX 형식으로 변환한 모델이 공개됐다. 변환에는 mlx-lm 0.31.2가 사용됐다.

양자화 방식은 다음과 같다.

• 임베딩 레이어: 5-bit, group_size=64
• 예측 레이어: 5-bit, group_size=64
• 그 외 레이어: 3-bit, group_size=64

작성자는 이 구성을 통해 압축률과 품질의 균형을 노렸다고 설명했다. 저장소에는 pip install mlx-lm으로 설치하는 사용법과, load() 및 generate()를 이용한 예제 코드도 포함됐다.

LM Studio용 추천 생성 파라미터도 함께 제시됐다.

• Thinking Preserve 모드와 Instruct Mode를 구분
• 일반 작업, 코딩, 추론 작업별로 temperature, top_p, top_k 등을 다르게 설정

모델 카드 기준으로는 27B 파라미터, BF16/U32, Safetensors, MLX 포맷이며, 대상은 메모리가 부족한 Mac 사용자다.