AI Briefingllama.cpp Vulkan FA 커널, Intel Arc prefill 최대 1530% 향상
Intel Arc Vulkan prefill got a dedicated FA kernel in llama.cpp master
·2026.11.13 04:35
핵심 내용
llama.cpp Vulkan FA 커널이 Intel Arc prefill 성능을 최대 1530% 향상시켰다
자세히 보기
- llama.cpp 마스터 브랜치에 Intel Arc 및 Xe용 전용 Vulkan Flash Attention prefill 커널을 머지함. 네이티브 매트릭스 코어 형태(m16n16k16/SIMD32)와 SLM 아키텍처를 활용한 커스텀 셰이더 적용
- 지원 플랫폼에서 prefill 성능 대폭 향상. ARL-H Windows 환경에서 qwen3 8B Q4_K는 126.58 t/s에서 415.31 t/s로, B70 Pro Windows 환경에서는 1064.67 t/s에서 2955.83 t/s로 증가
- ARL-H, Xe2/Xe3 등 특정 아키텍처에서만 활성화. 테스트 결과 일관성이 없어 A770 등은 비활성화 상태 유지
- 백엔드 개선으로 MQA, MLA 등 단일 KV 헤드 모델에도 혜택 확장. Intel Arc B580 벤치마크에서 Ling-3.0-tiny (hkv=1)는 최대 +1530.3%, Gemma4 E4B Q4_K_M은 +897.3% 성능 개선 확인
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
