PyTorch Monarch를 AMD GPU로 확장

대규모 LLM 학습 시 발생하는 하드웨어 장애 문제를 해결하기 위해 PyTorch Monarch가 AMD Instinct GPU 및 ROCm 환경으로 이식되었습니다. 기존의 체크포인트 방식은 저장 오버헤드와 계산 낭비가 크다는 단점이 있습니다.

PyTorch Monarch는 다음과 같은 특징을 제공합니다:

• Actor 기반 런타임: 단일 Python 프로그램으로 GPU 클러스터를 오케스트레이션하며, 장애 발생 시에도 전체 학습을 중단하지 않고 해당 노드만 빠르게 복구합니다.
• 계층적 결함 허용(Fault-tolerance): 장애를 낮은 수준에서 격리하여 처리하며, 로컬 재시작은 수 초 내, 전체 확산 시에도 수 분 내에 복구가 가능합니다.
• 아키텍처 구조: Python API, Monarch 런타임, 성능과 메모리 안전성을 보장하는 Rust 런타임(Tokio), 그리고 RDMA/RCCL 등 인프라 계층으로 구성됩니다.

이번 확장을 통해 개발자는 CUDA 환경을 넘어 더 넓은 하드웨어 생태계에서 탄력적이고 안정적인 대규모 분산 학습 인프라를 구축할 수 있습니다.