Qwen3.6 MTP 레이어 결합 및 추론 최적화

Unsloth 양자화 모델에 MTP 레이어를 결합하여 Qwen3.6의 추론 성능을 최적화하는 방법을 안내한다.

Unsloth Dynamic 2.0 XL (UD XL) 양자화 모델인 Qwen3.6-27B에 Multi-Token Prediction (MTP) 레이어를 결합(grafting)하여 추론 효율을 높이는 기술적 방법이 공유되었다.

MTP 레이어는 Q8_0 정밀도로 저장되어 베이스 모델에 병합된다. 이는 드래프트 헤드가 베이스 모델에 비해 크기가 작다는 점을 이용해, 전체 모델을 재양자화하는 오버헤드를 피하면서도 정밀도 손실을 최소화하기 위한 방식이다.

해당 모델을 활용하려면 MTP 및 투기적 디코딩(speculative decoding) 지원이 포함된 llama.cpp의 커스텀 빌드가 필요하다.

주요 실행 단계:

llama.cpp 빌드: MTP 지원이 포함된 특정 PR(#22673)을 llama.cpp 메인 브랜치에 병합한 후, CUDA를 활성화하여 llama-server를 빌드한다.
서버 실행: llama-server 실행 시 --spec-type mtp 옵션을 사용하며, 모델의 MTP 레이어 수에 맞춰 --spec-draft-n-max 3 설정을 적용한다.