NVIDIA, ModelExpress 공개

NVIDIA는 **ModelExpress(MX)**를 통해 DeepSeek-V4 Pro의 스타트업 시간을 8분에서 2분 미만으로 단축하는 데 성공했다. 이 기술은 NVIDIA Dynamo의 가중치 배포 및 캐시 관리 서비스로 작동한다.

핵심 기술적 특징은 다음과 같다:

• GPU-to-GPU RDMA 활용: 가중치를 GPU 메모리로 이동하는 가장 빠른 경로를 사용하여 데이터 전송 효율을 극대화한다.
• NIXL 기반 직접 페칭: 인퍼런스 워커가 중앙 집중식 브로드캐스트를 거치지 않고 NIXL을 통해 다른 GPU로부터 직접 업데이트된 가중치를 가져온다.
• 경로 최적화: 가중치 이동을 크리티컬 패스(Critical Path)에서 분리하여 인퍼런스 및 RL(강화 학습) 포스트 트레이닝의 속도를 모두 향상시킨다.
• 커널 캐시 재사용: MX는 커널 캐시를 재사용하여 리소스 낭비를 줄이고 효율성을 높인다.