RTX 5060 Ti 16GB에서 22 tok/s
Qwen 3.6 27b IQ4_XS - 22 tp/s on RTX 5060TI 16b, 24k ctx
·2026.04.24 09:38
RTX 5060 Ti 16GB에서 Qwen3.6 27B IQ4_XS가 22 tok/s를 기록했다.
-
unsloth/Qwen3.6-27B-GGUF의Qwen3.6-27B-IQ4_XS.gguf를llama-server로 구동했다. -
설정은
-ngl 999 -ctk q4_0 -ctv q4_0 -b 128 -ub 128 -c 24000이었다. -
RTX 5060 Ti 16GB에서 22 tok/s를 기록했다.
-
KV quant를 더 높이면 8192 ctx를 넘기기 어려웠고,
-b와-ub를 256으로 올리면 최대 16384 ctx까지 가능했다. -
GNOME을 끄자 추가로 300 MiB를 확보해 최대 24k ctx까지 올렸고, quant context 없이 63/65 layers가 GPU에 올라갔다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.