Templar, 파이프라인 병렬 학습 내결함성 시뮬레이션 공개

Templar가 분산 사전 학습 플랫폼 Crucible에서 파이프라인 병렬 학습의 내결함성을 높이는 스테이지 생략(stage skipping) 기법을 시뮬레이션한 결과를 공개했다. 이 기법은 특정 파이프라인 스테이지가 오프라인 상태가 되면 해당 스테이지의 계산을 건너뛰고, 건강한 스테이지들이 토큰 처리를 계속하도록 하여 복구 대기 시간을 줄인다.

시뮬레이션 설정 및 결과

• 환경: 178M 파라미터 모델, 8개 레플리카, 레플리카당 4개 스테이지 구성
• 장애 조건: 글로벌 스텝당 레플리카 장애 확률 1%, 장애 발생 시 6개 글로벌 스텝 동안 스테이지 제거
• 성능: 장애가 없는 기준선(no-failure baseline)과 비교했을 때 검증 손실(validation loss)이 유사한 수준으로 유지됨

고정 투영(Fixed Projections)의 효과

파이프라인 압축(pipeline compression)과 함께 레이어 간 공유되는 **고정 투영(fixed projections)**을 사용하면 내결함성이 더욱 향상되는 것으로 나타났다. 이는 공유 프로젝터가 스테이지 경계에서의 표현(representations)을 정렬하여 스테이지 생략으로 인한 혼란을 줄이기 때문인 것으로 추정되나, 이는 아직 가설 단계다.

시사점

이 연구는 불안정한 워커나 스팟 인스턴스(spot instances)를 포함한 더 넓은 컴퓨팅 자원 풀에서 학습을 수행할 가능성을 시사한다. 다만, 이는 물리적 워커 교체나 실제 비용 절감을 측정한 것이 아니라 스테이지 장애가 학습에 미치는 영향을 시뮬레이션한 결과임을 명시했다.