AI BriefingRTX 5070 Ti 44 t/s
RTX 5070 Ti 16GB + 32GB RAM: Running Qwen3.6-35B-A3B Q8_0 @ 44 t/s (128K context)
·2026.04.24 20:02
핵심 내용
RTX 5070 Ti 16GB와 32GB RAM에서 Qwen3.6-35B-A3B Q8_0이 44 t/s를 기록했다.
자세히 보기
RTX 5070 Ti 16GB와 32GB DDR5 RAM 환경에서 unsloth/Qwen3.6-35B-A3B-GGUF Q8_0를 실행해 44 t/s를 기록했다.
- 모델 크기: 36.9 GB
- 컨텍스트: 128K
- LM Studio 설정:
- GPU Offload: 40
- Offload MoE Experts to CPU: 26
- Try mmap: on
- K cache: Q8_0
- V cache: Q8_0
게시자는 llama.cpp가 더 나을 것이라고 언급했다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
