AI Briefing6GB VRAM 노트북서 Qwen3.6-35B 구동
Pushing a 5-Year-Old 6GB VRAM laptop to Its Limits: Qwen3.6-35B-A3B
·2026.05.04 07:16
핵심 내용
5년 된 6GB VRAM 노트북에서 Qwen3.6-35B-A3B를 23 t/s로 구동했다.
자세히 보기
하드웨어
- Asus ROG Zephyrus G14 2020
- Ryzen 7 8c/16t를 2,900MHz로 고정하고 boost disabled 상태로 운용
- 24GB DDR4-3200
- RTX 2060 Max-Q 6GB
구동 설정
Qwen3.6-35B-A3B-APEX-I-Compact.gguf를llama-server로 실행- 64k 컨텍스트,
--fit off,-fa on,--threads 8,--threads-batch 12 --cpu-range 0-7,--cpu-range-batch 0-11,--cache-type-k/v q8_0,--ubatch-size 1024,--batch-size 2048--cache-ram 4096(4GB)과--spec-type ngram-mod로 메모리와 속도를 맞춤
결과
- 실측 처리속도는 약 23 t/s였고, 전원 연결이 끊긴 상태에서도 10 t/s 이상을 유지
- 실사용 사례로
pi agent를 함께 사용했다
추가 공유
- Tom의 fork 기반
lm-server-tq로 128k 장문 컨텍스트 설정도 제시
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
