llama.cpp LoRA 커널, Strix Halo에서 1100 t/s 성능 회복

Fast LoRA in llama.cpp

·2026.10.21 14:24

핵심 내용

llama.cpp 커널이 Strix Halo 추론 속도를 300에서 1400 t/s로 끌어올렸다

llama.cpp용 일반 및 퓨즈드 LoRA 커널이 Strix Halo 하드웨어에서 LoRA 어댑터 사용 시 추론 속도를 크게 향상시킴
일반 커널 적용 시 프롬프트 처리(PP) 처리량이 300 t/s에서 1000 t/s로 증가하고, 퓨즈드 커널 적용 시 1400 t/s에 도달함
Qwen3.8-Flash-Next와 같은 모델에 35 MB의 작은 LoRA 어댑터를 적용할 때 발생하는 심각한 성능 저하(약 1500 t/s에서 300 t/s로 하락) 문제를 해결하는 최적화임
해당 코드는 현재 Strix Halo에 최적화되어 포크에서 제공 중이며, 아키텍처 변경에 따라 메인라인 llama.cpp 또는 strix-llama.cpp에 업스트림할 계획임

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.