AI Briefingllama.cpp CUDA MoE 최적화로 DGX Spark 프롬프트 처리 속도 17.2% 향상
CUDA: fuse MoE gate/up matmuls and GLU in MMQ by anujj · Pull Request #31188 · ggml-org/llama.cpp
·2026.10.28 22:40
핵심 내용
llama.cpp CUDA 최적화로 DGX Spark에서 최대 17.2% 속도 향상이 확인됐다.
자세히 보기
- ggml-org/llama.cpp의 Pull Request #31188은 CUDA 백엔드에서 MoE gate/up matmul과 GLU 연산을 융합함
- DGX Spark(GB10) 환경에서 Qwen3-30B-A3B Q4_K_M 모델의 프롬프트 처리 속도가 2911.4 tokens per second에서 3410.8 tokens per second로 17.2% 향상됨
- DGX Spark에서 Qwen3.6-35B-A3B Q4_K_M 모델은 3235.8에서 3556.7 tokens per second로 9.9% 증가함
- RTX 5090에서는 Q4_K_M과 UD-Q4_K_M 양자화 기준 Qwen3-30B-A3B 및 Qwen3.6-35B-A3B 변형 모델에서 5.7%에서 6.1% 사이의 성능 향상이 확인됨
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
