Q4_K_XL, Q4_K_M보다 빨라

Qwen3.6 35b a3b를 8GB VRAM / 32GB RAM 환경에 맞춰 돌린 벤치마크에서, Unsloth의 Q4_K_XL이 Q4_K_M보다 약간 더 나은 성능을 보였다.

• 설정: CtxSize 131,072, GpuLayers 99, CpuMoeLayers 38, Threads 16, BatchSize/UBatchSize 4096/4096, K/V cache q8_0
• 비교 결과:
  • Avg Tokens/sec: 28.92 → 29.78
  • Median Tokens/sec: 30.96 → 32.08
  • Avg Wall Seconds: 108.03초 → 99.93초
  • Avg Output Tokens: 3,031.8 → 2,895.8
• 입력 처리와 디코딩 속도도 소폭 향상됐으며, 입력 토큰 처리 속도는 50.20 → 55.96 tok/s로 늘었다.
• 작성자는 첫 실행에 저장소에서 RAM으로 모델을 올리는 초기화 시간이 포함돼 있어 실제 사용 기준으로 5회 측정했다고 설명했다.

핵심은 더 많은 메모리를 쓰는 Q4_K_XL이 이 환경에서는 Q4_K_M보다 약 3% 빠르고, 출력 토큰도 약 4.5% 적었다는 점이다.