AI Briefingllama.cpp PR, Qwen 추론 속도 최대 20.6% 향상
cuda, hip: GDN chunked kernel by am17an · Pull Request #29353 · ggml-org/llama.cpp
·2026.10.14 23:23
핵심 내용
llama.cpp의 GDN chunked kernel 도입으로 Qwen 추론 속도가 최대 20.6% 향상됐다.
자세히 보기
llama.cpp 리포지토리의 Pull Request #29353은 CUDA 및 HIP 백엔드용 GDN chunked kernel을 도입하여 Qwen 모델의 추론 속도를 향상시켰다.
하드웨어별 성능 향상
새로운 커널 구현은 특히 최신 NVIDIA 하드웨어에서 상당한 처리량 증가를 보였다.
- RTX PRO 6000 Blackwell: 가장 높은 성능 향상을 기록했으며, Qwen3.5-35B-A3B-Q8_0 모델은 2048 프롬프트 토큰에서 +20.6% (13,653.58에서 16,459.56 tok/s로 증가), 4096 토큰에서 **+17.8%**의 속도 향상을 보였다.
- RTX 5090: Qwen3.5-35B-A3B-Q4_K_S 모델이 2048 토큰에서 +16.4%, 4096 토큰에서 **+17.9%**의 강력한 성능 개선을 보였다.
- RTX 4090: Qwen3.5-35B-A3B-Q4_K_S 모델이 2048 토큰에서 **+10.8%**의 중간 수준 향상을 보였다.
- Spark GB10: Qwen3.6-35B-A3B-UD-Q4_K_M 및 Qwen3.8-Flash-Next-UD-IQ4_XS 등 테스트된 Qwen 변형에서 **+3.4%**에서 +5.7% 사이의 일관되지만 작은 폭의 향상을 제공했다.
- RTX 3090: 가장 낮은 향상을 보였으며, Qwen3.5-35B-A3B-Q4_K_S는 2048 토큰에서 +6.9% 개선되었고, Qwen3.8-27B-Q4_K_M은 **+0.9%**에서 +2.2% 사이의 미미한 향상을 보였다.
모델별 관찰 사항
성능 이점은 모델 아키텍처와 양자화 방식에 따라 달라진다.
- Qwen3.5-35B-A3B 모델은 모든 테스트된 GPU에서 가장 큰 상대적 속도 향상을 일관되게 보였다.
- Qwen3.8-27B 모델은 일반적으로 **+0.9%**에서 +6.4% 사이의 작은 향상을 보였다.
- 해당 커널은 Q8_0, Q4_K_S, Q4_K_M, UD-Q4_K_M, UD-Q8_K_L, UD-IQ4_XS 등 다양한 양자화 형식을 지원한다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
