AI BriefingDomyn, JUPITER에서 1T MoE 학습 14배 가속
Scaling to 1T MoE on TorchTitan [P]
·2026.11.14 01:28
핵심 내용
Domyn이 JUPITER에서 1T MoE 학습 속도를 14배 끌어올렸다
자세히 보기
- 384개 GH200 GPU에서 약 1T 파라미터 MoE 모델의 GPU당 1,300 tokens/s 처리량 달성, 초기 베이스라인 대비 14배 성능 향상함
- 노드 내 384-way FSDP와 4-way Expert Parallelism(EP) 적용으로 크로스 노드 통신 최소화, 900 GB/s Grace-Hopper C2C 링크를 활용해 액티베이션 오프로딩 수행함
- 뉴턴-슈를츠 반복 연산을 CPU 대신 GPU에서 실행해 옵티마이저 스텝 시간을 42초에서 약 2초로 단축, 처리량 35% 증가에 기여함
- FP8 expert all-gather와 노드 로컬 리샤딩 구현으로 통신량 절감, 학습 손실에 영향 없이 18% 성능 개선함
- 메모리 할당을 컴퓨트 스트림으로 이동해 재시도 오류 제거, 처리량 21% 향상 및 피크 예약 메모리 13.5 GiB 감소 달성함
- 모델 및 학습 레시피 공개 예정, 모든 수정 사항은 PyTorch와 TorchTitan에 업스트림으로 기여함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
관련 추천
Core Automation, 9,000마일 거리 분산 학습으로 1% 성능 저하 달성PPinterest, PyTorch 모듈 격리 디버깅 및 에이전트 최적화 도구 ModuleLens 공개