AI BriefingTandem-vLLM 0.2.0, 3090/4090급 및 H100에서 DeepSeek-V4.1-Flash 구동
Tandem-vLLM 0.2.0: DeepSeek-V4.1-Flash now on 3090/4090-class, A6000, Ada and H100/H200 cards, and on two GPUs (a second card as an "expert helper")
·2026.11.14 06:03
핵심 내용
Tandem-vLLM 0.2.0이 하드웨어 지원을 확대하고 단일 RTX PRO 6000에서 75.5 tok/s를 달성했다
자세히 보기
- Tandem-vLLM 0.2.0은 DeepSeek-V4.1-Flash 지원 범위를 Blackwell 전용에서 Ampere(RTX 30xx/A6000), Ada(RTX 40xx/6000 Ada), Hopper(H100/H200) GPU로 확장함
- 라우팅된 전문가를 호스트 RAM에 2-bit 벡터 양자화로 저장하고, 핫 전문가용 GPU 캐시와 캐시 미스 시 CPU 폴백을 통해 정확한 출력을 보장함
- 텐서 병렬성 또는 헬퍼 GPU 모드를 통해 2-GPU 구성을 지원하며, 전문가 계산을 두 번째 카드로 오프로드하여 CPU 부하를 줄임
- 성능 벤치마크 결과 64코어 CPU와 단일 RTX PRO 6000에서 75.5 tok/s를 기록하고, 24 GB 카드는 구성에 따라 16.8-21.7 tok/s를 달성함
- 품질 테스트에서 2-bit 전문가의 GPQA-diamond 정확도는 공식 FP4 체크포인트의 81.3% 대비 76.8%로 하락했으나, GSM8K와 롱컨텍스트 검색 성능에는 영향이 없음
- 배포에는 300 GB 디스크 공간, 128 GB 이상 RAM, Linux, CUDA 13 툴킷, AVX2 또는 AVX-512 CPU가 필요함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
