AI Briefinglibstrix, Strix Halo vLLM 프리필 최대 31배 가속
Strix Halo-specific kernels for vLLM: up to 31× faster prefill at 64k, plugs into stock vLLM
·2026.10.29 15:56
핵심 내용
libstrix가 Strix Halo에서 vLLM 프리필 속도를 최대 31배 높였다
자세히 보기
- libstrix는 gfx1151 아키텍처(Radeon 8060S)용 커스텀 HIP 커널을 포함하는 vLLM 플러그인으로, 표준 ROCm 커널의 성능 격차를 해결함
- Qwen3.6-35B-A3B 모델의 256k 프롬프트 프리필 처리 시간이 7,568초에서 241초로 단축되어 약 31배 빨라졌으며, 64k 프리필 속도는 260 tok/s에서 2,617 tok/s로 향상됨
- 포크 없이 vLLM 표준 플러그인 시스템으로 통합되며, ROCm + gfx1151 환경에서만 활성화되고 레이어 형태가 일치하지 않으면 표준 커널로 폴백함
- Qwen 모델은 표준 vLLM과 정확도가 일치(KLD 0.001-0.006)했으나, Gemma-4-26B는 bf16 반올림에 대한 민감성으로 인해 더 높은 드리프트(KLD ~0.2)를 보임
- 디코드 속도는 bf16 및 int4 모델에서 표준 커널이 병목이 아니어서 개선 폭이 제한적이며, MXFP4의 향상은 느린 에뮬레이션 경로 대체에서 기인함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
