충돌은 나누고, 성능은 합치다: 효율적인 LLM Post-training 전략 MERIT
네이버클라우드가 데이터셋 간 충돌을 방지하고 통신 비용을 줄이는 새로운 LLM 후학습 전략 MERIT을 제안했다.
최근 멀티모달 LLM(MLLM) 학습은 다양한 데이터를 섞는 Instruction Mixture 방식이 표준으로 자리 잡았습니다. 하지만 서로 다른 성격의 데이터를 동시에 학습할 경우, 한쪽 능력이 저하되는 Negative Transfer와 막대한 GPU 간 통신 비용이 발생하는 Gradient Conflict 문제가 발생합니다.
네이버클라우드가 제안하는 **MERIT(Merge-Ready Instruction Tuning)**은 데이터를 먼저 유사성에 따라 그룹화한 뒤, 각 그룹을 독립적으로 학습시키고 마지막에 가중치를 병합하는 방식을 취합니다. 이 방식은 학습 과정 중 그룹 간 통신이 전혀 필요 없어 자원이 파편화된 환경에서도 매우 효율적입니다.
MERIT의 핵심 프로세스는 다음과 같습니다.
- Dataset-level Gradient 추정: 각 데이터셋의 대표 Gradient를 계산하여 학습 방향을 파악합니다.
- Conflict Matrix 구축: Cosine Similarity를 통해 데이터셋 간 충돌 정도를 측정합니다.
- Balanced Partitioning: 충돌이 큰 데이터셋은 분리하고 유사한 데이터셋끼리 그룹화합니다.
- 독립 학습 및 병합: 각 그룹을 독립적으로 Fine-tuning한 후, Token-weighted Averaging을 통해 최종 모델을 생성합니다.
이 전략은 모델이 이미 잘 정렬된 Flat Basin 영역에 위치한다는 점을 활용하여, 단순한 가중치 평균만으로도 성능 저하 없이 통합 모델을 얻을 수 있게 합니다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.
