Core Automation, 9,000마일 거리 분산 학습으로 1% 성능 저하…

Core Automation이 전력 및 그리드 병목을 우회하기 위해 지리적으로 분리된 클러스터인 'Compute Islands'를 활용해 프론티어 규모 학습을 수행할 수 있음을 검증함. 표준 공동 배치 학습 대비 약 1%의 성능 저하만 기록하며 32B 파라미터 Sparse MoE 모델을 달성함.
2개 사이트 사례 연구에서는 미국 내 160개 B300 GPU와 아시아 내 160개 GB300 GPU를 9,000마일 거리를 잇는 25 Gbps 링크로 연결함. 분산 설정은 일반 코딩 평가에서 0.2525 bits/byte, 시스템 및 커널 평가에서 0.1995 bits/byte를 기록했으며, 이는 표준 학습의 0.2549 bits/byte와 0.2017 bits/byte 대비 결과임.
기술 구현은 50스텝 윈도우에 걸친 프래그먼트 수준 스태거드 동기화, 분산 Shampoo 옵티마이저 변형, 그리고 통신 압축을 위한 에러 피드백이 포함된 확률적 라운딩에 의존함. 라우팅 통계는 모든 스텝에서 동기화됨.
네트워크 엔지니어링은 트래픽 페이싱, 웜 연결 재사용, 독립적인 청크 스케줄링, 누락 조각의 선택적 복구를 통해 테일 레이턴시 최적화에 집중함. 이를 통해 느린 링크가 전체 업데이트를 차단하지 않도록 보장함.
단일 사이트(8개 GPU로 구성된 8개 셀로 나뉜 64개 GB300 GPU)에서 수행된 'Butterfly Mixing' 실험은 3라운드에 걸쳐 모델 프래그먼트 쌍을 교환함으로써 All-reduce 베이스라인과 동일한 학습 품질을 달성함. 이를 통해 전체 동기화의 필요성을 제거함.
해당 방식은 선점 가능한 컴퓨트 사용, 혼합된 가속기 세대(예: GB300과 B300) 지원, 지역적 장애에 대한 회복력을 가능하게 함. 다만 여러 제공업체에 걸쳐 학습을 수행할 경우 모델 무결성과 안전성 관련 리스크가 발생할 수 있음.

Core Automation, 9,000마일 거리 분산 학습으로 1% 성능 저하 달성

핵심 내용

자세히 보기

관련 추천