AI Briefinglibstrix Docker 이미지, Strix Halo에서 Qwen3.8-Flash-Next 40+ tok/s 디코드 지원
libstrix update: one-command Docker image for Strix Halo, and Qwen3.8-Flash-Next now runs (1.6k prefill, 40+ tok/s decode)
·2026.10.31 06:10
핵심 내용
libstrix Docker 이미지로 Strix Halo에서 Qwen3.8-Flash-Next 디코드 40+ tok/s 달성했다
자세히 보기
- Strix Halo(gfx1151)용 vLLM 포크, libstrix 플러그인, ROCm 10.1을 통합한 원커맨드 Docker 이미지(ghcr.io/asf0/strix-vllm:latest) 제공, 호스트에는 amdgpu 드라이버만 필요함
- 커스텀 vLLM 포크를 활용해 102 GB n-gram 테이블을 디스크에서 스트리밍, MTP 2 사용 시 Qwen3.8-Flash-Next의 디코드 40-43 tok/s, 프리필 1,539-1,617 tok/s 달성
- 2k-64k 컨텍스트 길이에서 Qwen3.8-Flash-Next AWQ int4의 디코드가 24.7-26.1 tok/s, 표준 vLLM 대비 정확도 KLD 0.008-0.019 기록
- 11가지 모델 구성에 대한 메모리 오버헤드 표 제공, 가중치와 KV 캐시를 포함해 gemma-4-26B-A4B AWQ 15.6 GiB부터 Qwen3.8-Flash-Next AWQ 79.5 GiB까지 범위
- 최근 업데이트로 int8 디코드 복사를 Qwen3.8-Flash-Next(12 GB 제한)로 한정, Qwen3.8-27B bf16 등 다른 모델의 메모리 고갈 방지
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
