DynaMiCS: 성능 제약 조건을 고려한 동적 혼합 방식의 LLM 미세 조정

LLM의 Multi-domain fine-tuning 과정에서는 타겟 도메인의 성능을 높이는 동시에, 일반 상식이나 지시 이행(Instruction following), 안전성(Safety)과 같은 기존 역량이 저하되는 것을 방지하는 것이 매우 중요하다. 기존의 데이터 혼합 전략은 고정된 휴리스틱이나 적응형 규칙에 의존했기 때문에, 특정 능력을 명시적으로 보존하는 데 한계가 있었다.

이를 해결하기 위해 제안된 DynaMiCS는 다중 도메인 미세 조정을 **제약 최적화 문제(Constrained Optimization Problem)**로 정의한다. 이 방식은 매 업데이트 단계마다 짧은 **도메인별 프로빙(Domain-specific probing)**을 수행하여 국소적인 기울기 행렬(Slope matrix)을 추정한다.

이러한 동적 혼합 최적화 방식은 다음과 같은 이점을 제공한다.

• 성능 보존: 제약 조건이 있는 도메인의 성능 저하를 명시적으로 방지함
• 동적 최적화: 고정된 비율이 아닌, 학습 과정에 따라 데이터 혼합 비율을 실시간으로 조정함
• 효율적 학습: 타겟 도메인에 집중하면서도 모델의 전반적인 능력을 균형 있게 유지함