DeDLOC: 인터넷 기반 협업 분산 학습
Deep Learning over the Internet: Training Language Models Collaboratively
·2021.07.15 09:00
인터넷의 느린 네트워크 환경에서도 여러 사용자의 자원을 활용해 언어 모델을 학습시키는 DeDLOC 알고리즘이 공개되었다.
대규모 언어 모델(LLM) 학습에는 막대한 컴퓨팅 자원이 필요하지만, 개인이나 소규모 조직이 이를 감당하기는 어렵다.
기존의 분산 학습 방식은 초고속 네트워크를 전제로 하기에, 인터넷을 통한 협업 학습은 데이터 전송 병목 현상으로 인해 실효성이 낮았다.
HuggingFace는 네트워크 및 하드웨어 제약에 적응할 수 있는 새로운 알고리즘인 DeDLOC(Distributed Deep Learning in Open Collaborations)를 제안한다.
이 기술을 활용해 40명의 자원봉사자와 함께 벵골어 모델인 sahajBERT를 성공적으로 사전 학습시켰으며, 이는 대규모 가속기를 사용한 기존 모델과 대등한 성능을 보여주었다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.