AI BriefingQwen-3.6-27B 속도실험
Qwen-3.6-27B, llamacpp, speculative decoding - appreciation post
·2026.04.23 17:05
핵심 내용
llama.cpp ngram-mod speculative decoding으로 Qwen-3.6-27B 속도가 136.75 t/s까지 상승.
자세히 보기
llama.cpp llama-server에 Qwen3.6-27B-Q8_0.gguf와 mmproj-BF16Qwen3.6-27B.gguf를 붙이고, --spec-type ngram-mod --spec-ngram-size-n 24 --draft-min 12 --draft-max 48을 적용했다.
세션 중 생성 속도는 13.60 t/s → 25.53 t/s → 68.35 t/s → 136.75 t/s로 올라갔고, 각 단계에서 Qwen이 전체 코드를 끝까지 생성했다.
브라우저 콘솔이 열린 스크린샷으로 버그를 보여주자 모델이 원인을 짚고 수정했으며, 최종적으로 아쿠아리움 예제의 완성도가 크게 올라갔다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
