Hugging Face, ND-Parallel 지원

Hugging Face의 Accelerate와 Axolotl에 다양한 병렬화 전략을 손쉽게 조합하여 사용할 수 있는 ND-Parallel 기능이 통합되었습니다.

사용자는 ParallelismConfig 클래스를 통해 다음과 같은 병렬화 전략의 조합을 간편하게 설정할 수 있습니다:

• Data Parallelism (DP): 데이터 병렬화
• Fully Sharded Data Parallelism (FSDP): 모델 파라미터 및 옵티마이저 상태 샤딩
• Tensor Parallelism (TP): 텐서 연산 분산
• Context Parallelism (CP): 긴 문맥 처리를 위한 시퀀스 분산

이러한 전략들을 조합하면 Hybrid Sharded Data Parallelism과 같은 고도화된 구성을 구현할 수 있으며, 수천억 개의 파라미터를 가진 대규모 모델 학습 시 발생하는 통신 오버헤드를 최소화할 수 있습니다. Axolotl 사용자 또한 설정 파일에 몇 가지 필드를 추가하는 것만으로 이 기능을 즉시 적용할 수 있습니다.