llama.cpp, 프롬프트 처리 속도 최대 31% 향상

ggml-cpu/ops: vectorize flash-attention V-cache F16 to F32 conversion by jinzihao · Pull Request #26947 · ggml-org/llama.cpp

·2026.08.13 18:22

핵심 내용

llama.cpp가 F16C 인트린직을 활용한 벡터화로 프롬프트 처리 속도를 최대 31% 향상시켰습니다.

자세히 보기

ggml_cpu_fp16_to_fp32 함수가 AVX-512, AVX2 등의 하드웨어 F16C 인트린직을 활용하도록 최적화되었습니다. 이는 기존의 소프트웨어 기반 방식인 ggml_fp16_to_fp32_row보다 훨씬 빠른 성능을 제공합니다.

실제 테스트 결과, qwen3:4b와 같은 소형 모델을 기준으로 프롬프트 처리 속도(Prompt Processing Rate)가 약 17%에서 31%까지 향상되는 성능 개선 효과를 확인했습니다.

optimization ggml flash-attention llama-cpp inference-speed

원문 읽기Threads로 공유

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.