MTP 헤드 통합 GGUF 출시

mudler가 APEX(Adaptive Precision for EXpert Models) 기술을 적용한 Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled 모델의 GGUF 양자화 버전을 공개했다.

이번 릴리스의 핵심은 MTP(Multi-Token Prediction) 헤드를 모델 트렁크와 하나의 파일로 번들링했다는 점이다. 이를 통해 llama.cpp 최신 버전에서 별도의 드래프트 모델 없이도 self-speculative decoding을 활성화하여 추론 성능을 최적화할 수 있다.

MTP 헤드가 포함된 버전은 비포함 버전보다 파일 크기가 약 2.5% 더 크다. MTP 헤드의 정밀도는 대부분 Q8_0 수준으로 유지되어 드래프트 정확도를 높임으로써 추론 효율을 극대화했다.