AI BriefingNVIDIA, vLLM 기반 듀얼 DGX Station에서 GLM-5.3 NVFP4 서빙 가이드 공개
·2026.11.14 02:00
핵심 내용
NVIDIA가 vLLM로 두 대의 DGX Station에서 GLM-5.3 NVFP4 서빙 가이드를 공개했다.
자세히 보기
- NVIDIA Technical Blog이 vLLM을 사용해 두 대의 GB300 기반 DGX Station에서 GLM-5.3 NVFP4 모델(총 파라미터 753B, 활성 40B) 서빙 튜토리얼 공개함
- ConnectX-8 RDMA와 Tensor Parallelism(TP=2) 구성으로 동시성 16 기준 피크 출력 처리량 607.8 tokens/sec 달성함
- vLLM v0.30.0-aarch64, FP8 KV-cache, 스텝당 드래프트 토큰 4개의 Multi-token prediction(MTP) 설정 필요함
- 단일 GB300 GPU(252 GB HBM3e) 용량 초과로 두 GPU에 분산 배치, 스테이션당 약 231.35 GiB 사용함
- SPEED-Bench Coding 데이터셋으로 AIPerf 벤치마크 수행, 지연 증가로 인해 동시성 32에서 처리량이 385.0 tokens/sec로 하락함
- RoCE 환경의 CUDA graph replay 데드락을 방지하기 위해 NCCL 2.30.7 사용, 단일 OpenAI 호환 엔드포인트 노출함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
