tandem.cpp v0.3.0, 4096 토큰 VRAM 차용으로 프롬프트 처리 6배 단축
tandem.cpp v0.3.0: prefill speed improved; Project Maya's DeepSeek-V4.1 GGUFs support
·2026.11.16 21:22
핵심 내용
tandem.cpp v0.3.0이 VRAM 차용으로 최대 6배 빠른 프롬프트 처리를 구현했다
자세히 보기
- tandem.cpp v0.3.0 첫 태그 릴리스로, VRAM을 일시적으로 차용해 4096 토큰 배치로 프롬프트를 처리하는 전문가 캐시 기능 포함
- v0.2.0 대비 프롬프트 처리 속도 2~6배 향상, Qwen3.8 IQ3_S 기준 1,354 tok/s, DeepSeek-V4.1 IQ2_XS 기준 276 tok/s 기록 (15k+ 토큰 프롬프트)
- 장문 프롬프트 후 디코드 성능은 Qwen3.8 기준 110 tok/s, DeepSeek-V4.1 기준 16 tok/s로, 대부분의 테스트 시나리오에서 llama.cpp와 Strata보다 우수함
- Project Maya의 DeepSeek-V4.1 Maya-XS GGUF를 원회전 변환 스크립트로 지원, RTX 5090 환경에서 디코드 속도 1.5배 향상 (59.4 tok/s vs 39.6 tok/s)
- 현재 제한 사항으로 Linux 전용 지원, AMD ROCm 빌드에서 VRAM 차용 비활성화, 128 GB RAM 시스템에서 DeepSeek-V4.1 IQ2_XS 장문 프롬프트 처리 시 SSD 읽기 발생
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.