AI Briefing
EN로그인

NVIDIA Reshard, RL 가중치 전송 최대 5.7배 단축

Reshard: NVIDIA가 공개한, 강화 학습 가중치 전송을 최대 5.7배 가속하는 집단 통신 연산

·2026.11.10 15:30

핵심 내용

NVIDIA가 공개한 Reshard 연산이 분리 배치 RL 환경의 가중치 전송 시간을 최대 5.7배 단축했다.

1 / 4

자세히 보기

  • NVIDIA가 2026년 11월 6일 기술 블로그를 통해 집단 통신 연산 Reshard를 공개함
  • 학습 GPU와 추론 GPU 간 가중치 전송 시 불필요한 데이터를 줄여 최대 5.7배 성능 향상 달성
  • DeepSeek v3 671B 모델 기준 DGX H100에서 14.9초에서 2.6초로 단축
  • PyTorch DTensor의 Device Mesh와 Placement 정보를 활용해 겹치는 샤드 영역만 계산하여 전송
  • NeMo RL 적용 시 Megatron 학습 백엔드 필수, vLLM 또는 Megatron 생성 백엔드 지원
  • BF16 및 특정 FP8/MXFP8 조합 지원, 양자화 가중치는 BF16으로 변환 후 전송
  • 공식 문서가 nightly 버전이므로 실제 도입 시 NeMo RL 버전 지원 조건 재확인 필요
nvidiamodel-servingreinforcement-learninggpu-optimizationncclreshardcollective-communication
원문 읽기Threads로 공유

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.

관련 추천

RedditNVIDIA Alpamayo 2 Edge, Jetson AGX Thor에서 초당 20회 의사결정 달성TLDR AINVIDIA, 크로스 엠프로디먼트 로봇용 GR00T 2 파운데이션 모델 공개Hacker NewsWSJ, 엔비디아 순환 금융으로 GPU 가격 유지 및 TSMC 과잉 공급 흡수 주장RedditHarborRL, SSH 불필요 클러스터 배포 및 통합 RL 파이프라인 업데이트Hacker NewsNVIDIA, vLLM 기반 듀얼 DGX Station에서 GLM-5.3 NVFP4 서빙 가이드 공개NVIDIA BlogDyania Health, Synapsis AI로 7,800명 환자 기록 분석해 판막 열화 위험 예측