llama.cpp, Intel Arc 성능 45% 향상

sycl : port multi-column MMVQ from CUDA backend (~45% speculative decoding speedup on Intel Arc) by masonmilby · Pull Request #21845 · ggml-org/llama.cpp

·2026.06.06 03:51

핵심 내용

llama.cpp가 Intel Arc GPU를 위한 multi-column MMVQ 포팅을 통해 speculative decoding 속도를 약 45% 개선했습니다.

자세히 보기

llama.cpp 프로젝트에 multi-column MMVQ를 CUDA 백엔드에서 SYCL로 포팅하는 업데이트가 반영되었습니다.

이 최적화를 통해 Intel Arc GPU 환경에서 speculative decoding 속도가 약 45% 향상되는 효과를 얻을 수 있습니다.

해당 성능 향상을 적용하려면 llama.cpp 버전을 b9519 이상으로 업데이트해야 합니다.

sycl llama.cpp speculative-decoding intel-arc mmvq

원문 읽기Threads로 공유

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.

관련 추천

LFM2.5, DSpark로 추론 3.2배 가속

llama.cpp, MTP 텐서 기본 로드 변경

llama.cpp, DSpark 추측 디코딩 지원

Liquid AI, LFM2.5-VL 추론 가속하는 LFM2.5-VL-DSpark 공개

Amazon EKS에서 vLLM으로 Gemma 4 서빙 최적화하기 [2부: GPU 한 장의 처리량과 지연 SLO]

vLLM, AMD GPU 환경에서 5가지 Speculative Decoding 방식 성능 벤치마크 공개