Strix Halo서 Mistral 벤치

Mistral Medium 3.5 on AMD Strix Halo

·2026.05.04 03:49

핵심 내용

AMD Strix Halo에서 Mistral Medium 3.5는 48k 프롬프트 처리에 약 2시간이 걸렸다.

자세히 보기

AMD Strix Halo에서 unsloth/Mistral-Medium-3.5-128B-GGUF:UD-Q5_K_XL을 llama-server로 돌려 코드베이스 아키텍처 질문을 처리했다. 설정은 80,000 컨텍스트와 reasoning_effort=high였다.

48,349토큰 프롬프트 평가는 4,955,501ms가 걸렸고, 속도는 9.76 tok/s였다.
5,583토큰 생성은 2,652,690ms로, 생성 속도는 2.10 tok/s였다.
체감상 48k 프롬프트 + 4k thinking 토큰 작업은 약 2시간이 걸려, Strix Halo에서 128B급 모델은 구동 가능하더라도 지연은 매우 컸다.