llama.cpp CUDA 커널, RTX 3090 Ti에서 추측적 디코딩 34.9% 가속

Title: CUDA: few-row MMQ for BS 2-24 by anujj · Pull Request #31533 · ggml-org/llama.cpp

·2026.11.12 23:10

핵심 내용

llama.cpp의 새로운 CUDA 커널이 추측적 디코딩 속도를 최대 34.9%까지 높였다.

llama.cpp PR #31533에 2~24개 src1 컬럼을 대상으로 하는 새로운 CUDA mat-mul 커널 추가, 기존 MMVQ 및 MMQ 커널의 소규모 배치와 추측적 디코딩 비효율성 해결함
각 가중치를 한 번만 읽어 int8 MMA 프래그먼트로 디코딩한 뒤 텐서 코어에서 모든 컬럼과 곱셈 수행, 반복 곱셈 작업과 블록 전체 배리어 회피함
Qwen3.8-27B UD-Q4_K_M과 DFlash2 드래프트(7 토큰) 환경에서 DGX Spark 1.106배(10.1%)부터 RTX 3090 Ti 1.344배(34.9%)까지 성능 향상 확인함
Ampere 아키텍처부터 DGX Spark까지의 NVIDIA GPU에서 Q8_0, Q3_K, Q4_K, Q5_K, Q6_K, IQ3_S, IQ4_NL, IQ4_XS 양자화 유형 지원함

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.