RTX 5060 Ti 16GB에서 22 tok/s

Qwen 3.6 27b IQ4_XS - 22 tp/s on RTX 5060TI 16b, 24k ctx

·2026.04.24 09:38

핵심 내용

RTX 5060 Ti 16GB에서 Qwen3.6 27B IQ4_XS가 22 tok/s를 기록했다.

unsloth/Qwen3.6-27B-GGUF의 Qwen3.6-27B-IQ4_XS.gguf를 llama-server로 구동했다.
설정은 -ngl 999 -ctk q4_0 -ctv q4_0 -b 128 -ub 128 -c 24000이었다.
RTX 5060 Ti 16GB에서 22 tok/s를 기록했다.
KV quant를 더 높이면 8192 ctx를 넘기기 어려웠고, -b와 -ub를 256으로 올리면 최대 16384 ctx까지 가능했다.
GNOME을 끄자 추가로 300 MiB를 확보해 최대 24k ctx까지 올렸고, quant context 없이 63/65 layers가 GPU에 올라갔다.