ik_llama.cpp, Q2_0_R8 프롬프트 처리 속도 45% 향상

[PR] Q2_0_R8 CPU (AVX2/VNNI) acceleration in ik_llama.cpp for GSQ-RCO and ternary quants: benchmarks and guide

·2026.11.01 03:06

핵심 내용

ik_llama.cpp PR이 Q2_0_R8 프롬프트 처리 속도를 45% 향상시켰다

ik_llama.cpp의 PR #2785는 GSQ-RCO 및 3원자(ternary) 양자화 모델을 위한 전용 AVX2/AVX-VNNI 커널을 포함하여 Q2_0_R8 지원 도입함
Intel Core i5-13420H 벤치마크 결과 네이티브 Q2_0 대비 프롬프트 처리 속도 약 45%, 토큰 생성 속도 약 22% 향상 확인됨
Q2_0_R8의 퍼플렉시티는 런타임 리팩 버전과 동일한 13.0763을 유지하며, 네이티브 Q2_0(13.0721)과 미세한 차이만 존재함
사용자는 런타임 리팩을 위한 -rtr 플래그 또는 llama-quantize --repack를 통한 오프라인 모델 변환으로 최적화 적용 가능함

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.