Strix Halo서 Mistral 벤치
Mistral Medium 3.5 on AMD Strix Halo
·2026.05.04 03:49
AMD Strix Halo에서 Mistral Medium 3.5는 48k 프롬프트 처리에 약 2시간이 걸렸다.
AMD Strix Halo에서 unsloth/Mistral-Medium-3.5-128B-GGUF:UD-Q5_K_XL을 llama-server로 돌려 코드베이스 아키텍처 질문을 처리했다. 설정은 80,000 컨텍스트와 reasoning_effort=high였다.
- 48,349토큰 프롬프트 평가는 4,955,501ms가 걸렸고, 속도는 9.76 tok/s였다.
- 5,583토큰 생성은 2,652,690ms로, 생성 속도는 2.10 tok/s였다.
- 체감상 48k 프롬프트 + 4k thinking 토큰 작업은 약 2시간이 걸려, Strix Halo에서 128B급 모델은 구동 가능하더라도 지연은 매우 컸다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.