AI BriefingPaiton, AMD R9700 단일 카드로 Qwen3.8 27B 180 tok/s 추론
While everyone waits for Qwen 4: our final Qwen3.8 release for AMD Radeon R9700 (27B on one card, Flash Next on two)
·2026.11.09 06:56
핵심 내용
Paiton 플러그인이 AMD R9700 단일 카드로 Qwen3.8 27B 추론을 180 tok/s 속도로 수행했다
자세히 보기
- AMD RDNA4용 커스텀 커널을 갖춘 vLLM 플러그인 Paiton이 단일 Radeon AI PRO R9700에서 Qwen3.8 27B, 2개 카드에서 Qwen3.8 Flash Next 추론을 지원함
- 단일 R9700에서 Qwen3.8 27B 3-bit 모델이 1개 요청 시 180 tok/s, 8개 요청 시 489 tok/s의 디코딩 속도를 기록하며 65K 컨텍스트 또는 롱 모드에서 262K 컨텍스트를 지원함
- 27B 모델의 재학습된 3-bit 스케일 적용으로 SWE-bench Verified 해결 태스크 수가 500개 중 284개에서 323개로 증가하고 에이전트 루프 오류가 89개에서 67개로 감소함
- Qwen3.8 Flash Next 3-bit 모델이 97.4%의 GSM8K, 94.5%의 HumanEval 정확도로 16-bit에 근접한 성능을 유지하며 4-bit 세션 휴면 상태에서 NVMe를 통해 33K~90K 토큰 컨텍스트를 0.7~1.3초 만에 복원함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
