RTX 5070 Ti 44 t/s
RTX 5070 Ti 16GB + 32GB RAM: Running Qwen3.6-35B-A3B Q8_0 @ 44 t/s (128K context)
·2026.04.24 20:02
RTX 5070 Ti 16GB와 32GB RAM에서 Qwen3.6-35B-A3B Q8_0이 44 t/s를 기록했다.
RTX 5070 Ti 16GB와 32GB DDR5 RAM 환경에서 unsloth/Qwen3.6-35B-A3B-GGUF Q8_0를 실행해 44 t/s를 기록했다.
- 모델 크기: 36.9 GB
- 컨텍스트: 128K
- LM Studio 설정:
- GPU Offload: 40
- Offload MoE Experts to CPU: 26
- Try mmap: on
- K cache: Q8_0
- V cache: Q8_0
게시자는 llama.cpp가 더 나을 것이라고 언급했다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.