DeepSeek-V4-Pro 서빙 한계 돌파

LMSys는 DeepSeek-V4-Pro 모델을 H20 GPU 환경에서 효율적으로 서빙하기 위한 엔지니어링 최적화 과정을 상세히 공개했다. 하드웨어 제약 조건을 분석하여 Prefill과 Decode 단계별로 맞춤형 서빙 프로필을 설계하는 것이 핵심이다.

먼저 Humming MXFP4AFP8 양자화를 통해 가중치 크기를 줄이고, Online C128을 적용하여 KV 캐시 용량을 확장하는 등 용량 효율을 극대화했다. 이를 통해 다양한 시나리오에 적합한 서빙 프로필을 구성할 수 있게 되었다.

Prefill 단계에서는 통신과 연산의 균형을 맞추기 위해 MoE-TP 방식을 채택하고, Humming 라우팅 형태에 맞춰 튜닝을 진행했다. Decode 단계에서는 DSpark를 파이프라인 스테이지에 걸쳐 확장하여 저지연성을 확보하고, DP32-EP32 구성으로 고동시성 병목 현상을 제거하여 처리량을 높였다.

최종 평가 결과, 이러한 최적화를 통해 시스템 전반의 성능 향상이 확인되었으며, 컨텍스트 길이와 처리량 사이의 트레이드오프를 효과적으로 관리할 수 있는 프로파일링 기법이 입증되었다.