Qwen-3.6-27B 속도실험
Qwen-3.6-27B, llamacpp, speculative decoding - appreciation post
·2026.04.23 17:05
llama.cpp ngram-mod speculative decoding으로 Qwen-3.6-27B 속도가 136.75 t/s까지 상승.
llama.cpp llama-server에 Qwen3.6-27B-Q8_0.gguf와 mmproj-BF16Qwen3.6-27B.gguf를 붙이고, --spec-type ngram-mod --spec-ngram-size-n 24 --draft-min 12 --draft-max 48을 적용했다.
세션 중 생성 속도는 13.60 t/s → 25.53 t/s → 68.35 t/s → 136.75 t/s로 올라갔고, 각 단계에서 Qwen이 전체 코드를 끝까지 생성했다.
브라우저 콘솔이 열린 스크린샷으로 버그를 보여주자 모델이 원인을 짚고 수정했으며, 최종적으로 아쿠아리움 예제의 완성도가 크게 올라갔다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.