llama.cpp 프롬프트 처리 속도 최대 6.5배 향상시킨 Arm NEON…

SDOT 명령어를 활용한 신규 Arm NEON 커널이 llama.cpp v0.9.0에서 저비트 양자화 모델(Q3_K, Q2_K, IQ 계열)이 Arm CPU에서 느린 언패킹 경로로 폴백되던 성능 문제를 해결함
Qwen2.5 1.5B 모델과 512토큰 프롬프트를 대상으로 한 벤치마크에서 Arm Neoverse N1의 프롬프트 처리 속도가 초당 11.5토큰에서 74.5토큰으로 6.5배 향상되었으며, IQ3_M 포맷에서는 V1에서 4.9배, V2에서 4.3배의 성능 개선 확인
두 파일에 걸쳐 164줄이 추가된 패치로, 로드 시 디바이어싱(debias-on-load)과 프롬프트 측 인터리빙을 구현하여 정확한 정수 연산과 SDOT 명령어를 통한 효율적인 누적 연산 가능
생성 속도는 변동이 없으며 기존 Arm 커널이 존재하는 포맷(Q4_K_M, Q5_K_M, Q6_K, Q8_0)은 성능 차이가 없어 저비트 루틴 누락에 대한 수정임을 확인
저장소에는 패치, 벤치마크 스크립트, 원본 llama-bench 출력이 포함되어 있으나 AI 생성 코드에 대한 기여 규칙으로 인해 상위 llama.cpp에 제출되지 않음

llama.cpp 프롬프트 처리 속도 최대 6.5배 향상시킨 Arm NEON 커널 등장