AI Briefingtandem.cpp, 소비자 하드웨어에서 MoE 추론 3.3배 가속
tandem.cpp: Qwen3.8-Flash-Next at 97 tok/s on a single 4090 + 64 GB RAM, 3.3× llama.cpp, works for any MoE
·2026.11.02 05:23
핵심 내용
tandem.cpp 패치가 RTX 4090에서 Qwen3.8-Flash-Next 추론 속도를 3.3배 높였다
자세히 보기
- tandem.cpp는 VRAM 용량을 초과하는 MoE 모델의 추론 속도를 높이는 llama.cpp 패치 세트로, 자주 사용되는 전문가(expert)는 GPU에, 나머지는 CPU에 배치하는 방식 적용함
- 소비자용 PC(i5-12400F, 64 GB DDR4, RTX 4090) 환경에서 Qwen3.8-Flash-Next(IQ3_S + MTP) 모델의 그리디 디코딩 속도가 97.3 tok/s로 측정됨 (llama.cpp의 29.8 tok/s 대비 3.3배 향상)
- gpt-oss-120b, GLM-4.5-Air, Qwen3.6-35B-A3B, DeepSeek-V4.1 등 다른 MoE 모델에서도 1.4~2.1배 속도 향상 확인, 64k 프롬프트 처리 시 1.4~1.8배 빠름
- ggml-org과 무관한 독립 프로젝트이며, llama.cpp 및 Strata(정확 모드)와 비교한 벤치마크 결과는 GitHub에서 확인 가능함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
