Accelerate로 PyTorch FSDP 활용하기

모델 규모가 커짐에 따라 단일 GPU의 메모리 한계를 극복하기 위한 분산 학습 기술이 필수적이다. 본 글에서는 **PyTorch FSDP(Fully Sharded Data Parallel)**를 Accelerate 라이브러리로 효율적으로 사용하는 방법을 다룬다.

주요 분산 학습 기술:

• ZeRO (Zero Redundancy Optimizer): 옵티마이저 상태, 그래디언트, 파라미터를 샤딩하여 중복을 제거한다.
• Tensor Parallelism: 개별 레이어의 파라미터를 여러 GPU에 나누어 계산한다.
• Pipeline Parallelism: 모델의 레이어를 여러 GPU에 배치하여 파이프라이닝을 수행한다.
• 3D Parallelism: 위 기술들을 결합하여 수천억 개의 파라미터를 가진 모델을 학습한다.

Accelerate와 FSDP의 결합: PyTorch의 FSDP는 ZeRO의 핵심 개념을 구현한 기능으로, Hugging Face의 Accelerate를 사용하면 별도의 코드 수정 없이 설정 파일(accelerate config)만으로 FSDP를 적용할 수 있다.

성능 비교: GPT-2 Large(762M) 및 XL(1.5B) 모델을 활용한 실험 결과, 기존 DDP(Distributed Data Parallel) 방식은 대규모 모델에서 메모리 부족(OOM) 오류가 빈번했으나, FSDP는 더 큰 배치 사이즈를 지원하며 안정적인 학습을 가능하게 했다.