DeDLOC: 인터넷 기반 협업 분산 학습

대규모 언어 모델(LLM) 학습에는 막대한 컴퓨팅 자원이 필요하지만, 개인이나 소규모 조직이 이를 감당하기는 어렵다.

기존의 분산 학습 방식은 초고속 네트워크를 전제로 하기에, 인터넷을 통한 협업 학습은 데이터 전송 병목 현상으로 인해 실효성이 낮았다.

HuggingFace는 네트워크 및 하드웨어 제약에 적응할 수 있는 새로운 알고리즘인 DeDLOC(Distributed Deep Learning in Open Collaborations)를 제안한다.

이 기술을 활용해 40명의 자원봉사자와 함께 벵골어 모델인 sahajBERT를 성공적으로 사전 학습시켰으며, 이는 대규모 가속기를 사용한 기존 모델과 대등한 성능을 보여주었다.