tandem.cpp v0.3.0, 2~6배 빠른 프롬프트 처리와 DeepSeek-V4.1 GGUF 지원
tandem.cpp v0.3.0: prompts 2-6x faster; Project Maya's DeepSeek-V4.1 GGUFs supported
·2026.11.16 19:48
핵심 내용
tandem.cpp v0.3.0이 동적 VRAM 차용으로 프롬프트 처리 속도를 2~6배 높였다
자세히 보기
- tandem.cpp v0.3.0는 첫 번째 태그된 릴리스로, 4096 토큰 배치 처리와 동적 VRAM 차용을 통해 프롬프트 처리 속도를 2~6배 향상함
- RTX 5070 Ti 16 GB와 64 GB RAM 환경에서 Qwen3.8 IQ3_S(5.5k 토큰) 프롬프트 처리 시간이 기존 tandem.cpp의 12.4초(444 tok/s)에서 4.1~7.0초(790~1,340 tok/s)로 단축, llama.cpp의 28.9초(191 tok/s) 대비 우위
- 동일 하드웨어에서 DeepSeek-V4.1 IQ2_XS(15.7k 토큰) 프롬프트 처리는 885초(18 tok/s)에서 57초(276 tok/s)로 개선, 다만 RAM 용량을 초과하는 모델에서는 Strata가 여전히 더 빠름
- Project Maya의 DeepSeek-V4.1 GGUF는 일회성 변환 스크립트를 통해 지원되며, RTX 5090 32 GB 환경에서 tandem.cpp v0.3.0은 60.3 tok/s 디코딩 속도로 Maya의 39.0 tok/s를 상회함
- 현재 Linux 전용이며 AMD 지원 시 VRAM 차용 기능이 부재, Windows 프리빌트 바이너리는 계획 단계
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.