Qwen 3.6 27B 로컬 20 TPS
Qwen 3.6 27B runs on my local setup at 20 TPS. m720q i7 64gb RAM with an Nvidia T1000 8gb VRam. This is absolutely insane. Pi is running 24/24 and the results are insane.
·2026.04.24 16:13
m720q i7·64GB RAM·T1000 8GB 조합에서 Qwen 3.6 27B가 20 TPS를 기록했다.
m720q i7 시스템과 64GB RAM, Nvidia T1000 8GB VRAM 조합에서 Qwen 3.6 27B를 로컬 구동해 20 TPS를 냈다고 공유했다.
실행 설정은 다음과 같다.
-c 131072-n 32768--no-context-shift--temp 0.6--top-p 0.95--top-k 20--repeat-penalty 1.00--presence-penalty 0.00--fit on-fa on-ctk q8_0 -ctv q8_0--chat-template-kwargs '{"preserve_thinking": true}'
장시간 구동 환경으로는 Pi를 24/24로 돌리고 있다고 덧붙였다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.