AI Briefing#deepspeed
#deepspeed와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#deepspeed와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
PCIe 기반 VLA 학습에서 FP8 전송으로 바이트를 48.4% 줄였으나, 병합 후 직렬 처리로 인해 critical path에 포함되면서 step time이 오히려 증가한 것으로 나타났다.
DeepSpeed와 PyTorch FSDP의 내부 정밀도 처리 방식 차이가 모델 학습 결과에 미치는 영향을 분석한다.
StarCoder를 ChatML과 DeepSpeed로 미세 조정하여 대화형 코딩 어시스턴트 StarChat을 구축하는 방법을 소개한다.
🤗 Optimum Habana을 통해 Habana Gaudi2 가속기에서 176B 규모의 BLOOMZ 모델을 효율적으로 배포하고 추론하는 방법을 소개한다.
Hugging Face의 Optimum 라이브러리와 ONNX Runtime을 통합하여 트랜스포머 모델 학습 속도를 최대 130%까지 향상시켰다.
DeepSpeed와 Accelerate를 활용해 176B 파라미터 BLOOM 모델의 추론 성능을 극대화하는 방법과 벤치마크를 비교한다.
Hugging Face의 Accelerate 라이브러리를 통해 DeepSpeed ZeRO 기술을 적용하여 대규모 모델 학습 시 메모리 문제를 해결하는 방법을 소개한다.
Hugging Face Trainer에서 DeepSpeed와 FairScale의 ZeRO 기능을 통해 대규모 모델 학습 효율을 높이는 방법을 설명한다.