생성형 언어 모델 사전 학습 시 통합 확장-추적 파이프라인: IDEA Prune

대형 언어 모델(LLM)의 효율적 배포를 위해 구조적 추적(Structured Pruning) 파이프라인이 주목받고 있다. 기존 연구에서 간과되었던 확장된 모델 사전 학습을 추적 과정에 통합하는 것이 가치가 있는지, 그리고 전체 파이프라인을 어떻게 최적화할 수 있는지를 탐구한다.

제안된 IDEA Prune는 확장 모델 학습, 추적, 복구 과정을 단일 코사인 어닐링(Cosine Annealing) 학습률 스케줄 하에서 통합한다. 또한 점진적 파라미터 제거를 위한 새로운 반복적 구조적 추적 방법을 도입했다. 이를 통해 기존 방식에서 학습률 상승으로 인한 지식 손실을 완화하고, 생존한 뉴런 간 모델 용량을 효과적으로 재분배하여 부드러운 압축과 성능 향상을 달성한다.

2.8B 모델에서 1.3B 모델로 압축하는 실험에서 최대 2T 토큰의 사전 학습 데이터를 활용했다. 통합 접근법은 확장 모델 사전 학습의 토큰 효율성에 대한 통찰을 제공했을 뿐만 아니라, 추적된 모델의 우수성을 입증했다.