Blackwell 기반 GLM-5.2 최적 배포 가이드

NVIDIA B200 SXM 노드에서 GLM-5.2 모델을 서빙할 때, 단순한 Tensor Parallelism(TP) 확장보다 NVFP4 양자화와 복제본(Replicas)을 활용하는 것이 훨씬 효율적이라는 분석이 나왔습니다.

핵심 분석 내용:

• MoE 구조의 특성: GLM-5.2는 약 750B 파라미터 중 40B만 활성화되는 MoE 모델로, 추론 시 연산량(Compute)보다 메모리 대역폭(Bandwidth)에 의해 성능이 결정되는 Bandwidth-bound 특성을 가집니다.
• NVFP4의 이점: FP8 대비 가중치 데이터 크기를 절반으로 줄여 메모리 읽기 부하를 낮추며, 이는 H200 대비 성능 향상의 핵심 동력이 됩니다.
• 최적 구성 (TP=4 vs TP=8):
  • TP=8 (FP8): 노드 전체를 하나의 엔진으로 사용하며, 동시성(Concurrency)이 높아질수록 성능이 완만하게 상승합니다.
  • TP=4 (NVFP4): 노드 하나를 두 개의 독립적인 엔진(TP=4 x 2)으로 분할 운영할 수 있으며, FP8 TP=8 설정 대비 **약 2배 높은 처리량(Throughput)**을 기록합니다.

예상 성능 (8K Context 기준):

• NVFP4 (TP=4) 설정 시, 동시성 64 기준 3,740 tok/s/GPU를 기록하며, 이는 FP8 TP=8 설정(1,619 tok/s/GPU)보다 압도적인 효율을 보여줍니다.