AI Briefing#distributed-training
#distributed-training와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#distributed-training와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
HarborRL이 SSH 불필요 배포와 통합 RL 파이프라인을 도입했다
InfraRSI는 설정과 코드 동시 탐색으로 H100/H200에서 기하평균 1.83x 속도 향상을 기록했다.
Core Automation, 9,000마일 거리 분산 학습으로 1% 성능 저하 달성했다
ModuleLens는 PyTorch 모듈 격리 프로파일링을 지원한다
Netflix가 자동 복구 시스템으로 GPU 가용성을 99.95% 이상으로 끌어올렸다.
GPU 자원 최적화부터 장애 복원력까지, AI 인프라의 효율적 운영 기술 사례를 소개했다.
BrokenML 벤치마크 결과, 설정 파일과 코드만 접근 가능할 때 오픈과 클로즈드 모델 간 성능 격차가 가장 컸다.
Templar가 파이프라인 병렬 학습 중 장애 발생 시 스테이지를 생략해 학습을 지속하는 시뮬레이션 결과를 공개했다.
PyTorch 2.14가 NVGEMM 백엔드와 분산 학습 내결함성 기능을 추가하고 torchvision의 ABI 안정성을 확보하며 정식 출시됐다.
AWS는 Enroot·Pyxis 기반으로 분산 학습 클러스터의 환경 일관성과 자원 연동을 확보한다.
AWS가 수천 개 GPU를 묶는 UltraCluster와 용량 확보 전략을 설명했다.
NVIDIA가 AI 클러스터의 성능 격차를 줄이는 네 가지 진단 사례를 공개했다.
PyTorch Monarch가 AMD Instinct GPU와 ROCm 환경으로 확장되어 대규모 분산 학습의 결함 허용 능력을 강화한다.
Ascend NPU 기반 SLAI T-Rex 프레임워크가 DeepSeek-V4 조 단위 MoE 모델 포스트트레이닝에서 MFU 34.22%를 달성했다.
LLM 학습을 위해 모델 규모와 하드웨어 사양에 최적화된 AWS 컴퓨트 자원을 선택하는 방법을 다룬다.
NVIDIA와 HuggingFace가 확산 모델 미세조정을 위한 NeMo Automodel 통합을 공개했다.
학습 노드 수에 따른 학습률(Learning Rate) 선형 스케일링을 통해 대규모 배치 학습의 효율성을 높이는 방법을 다룹니다.
PyTorch Monarch가 AMD GPU의 ROCm 환경을 지원하며 노드 장애 시에도 중단 없는 탄력적 분산 학습을 가능하게 한다.