llama.cpp, CUDA용 FWHT로 추론 속도 개선

Prefill(pp): 약 1~2% 성능 향상
Token Generation(tg): 약 7~9% 성능 향상

CUDA: add fast walsh-hadamard transform by am17an · Pull Request #23615 · ggml-org/llama.cpp

·2026.05.26 02:22

핵심 내용

llama.cpp에 CUDA 기반 FWHT가 추가되어 KV-cache 양자화 시 추론 속도가 향상되었습니다.

llama.cpp에 **Fast Walsh-Hadamard Transform(FWHT)**을 CUDA로 구현한 업데이트가 제안되었습니다. 이 기능은 KV-cache 양자화를 사용할 때의 연산 효율을 높여줍니다.

RTX 5090 환경에서 테스트한 결과, 다음과 같은 성능 향상을 보였습니다:

이 최적화는 특히 -ctk q8_0 -ctv q8_0와 같이 KV-cache를 양자화하여 사용하는 설정에서 효과적입니다.

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.