AI Briefing#distributed-training
#distributed-training와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#distributed-training와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Pinterest는 분산 학습 시 발생하는 성능 저하 문제를 해결하여 파운데이션 모델의 학습 확장성을 선형에 가깝게 구현했다.
유럽의 기존 공공 컴퓨팅 자원을 연합 학습 방식으로 활용하면 신규 데이터센터 구축보다 빠르게 프론티어급 모델 학습이 가능하다는 분석임.
분산 트레이닝 효율을 높이기 위해 CPU 개입을 단계적으로 제거하는 GPU 간 고속 통신 기술의 발전 과정을 다룬다.
Cursor가 강화학습과 합성 데이터, 새로운 분산 학습 기술을 적용한 코딩 에이전트 Composer 2.5를 출시했다.
AWS EFA 위에서 NCCL이 GPU 집합 통신을 최적화하는 방식을 설명했다.
OpenAI가 MRC를 공개해 대규모 AI 학습망의 혼잡과 장애 대응을 강화했다.
AWS의 ENI 구조와 할당 규칙을 이해해야 EFA 성능을 제대로 끌어낼 수 있다.
DP, FSDP, TP 등 주요 분산 학습 기법을 밑바닥부터 구현한 PyTorch 교육용 저장소가 공개되었습니다.
SageMaker HyperPod로 저렴한 리허설과 Training Plan을 분리해 ZERO 학습 효율을 높였다.
Google이 PyTorch를 TPU에 네이티브로 올리는 TorchTPU를 공개했다.
비동기 강화학습(Async RL)의 효율성을 높이기 위한 16개 오픈소스 라이브러리의 설계 패턴과 기술적 차이점을 분석했다.
GRPO 알고리즘을 통해 소형 모델에서 DeepSeek R1의 추론 능력을 재현하는 방법을 설명한다.
DeepSpeed와 PyTorch FSDP의 내부 정밀도 처리 방식 차이가 모델 학습 결과에 미치는 영향을 분석한다.
Hugging Face의 Accelerate 라이브러리를 통해 PyTorch FSDP를 활용하여 대규모 모델 학습을 가속화하는 방법을 소개한다.
인터넷의 느린 네트워크 환경에서도 여러 사용자의 자원을 활용해 언어 모델을 학습시키는 DeDLOC 알고리즘이 공개되었다.
Hugging Face와 Amazon SageMaker의 협업을 통해 Transformers 모델의 분산 학습을 최적화한다.
Hugging Face Transformers의 RAG 모델에 Ray를 통합하여 문서 검색 속도와 미세 조정 확장성을 개선했다.