Hugging Face PEFT, MiCA 기술 통합

Hugging Face의 PEFT(Parameter-Efficient Fine-Tuning) 라이브러리에 새로운 적응 기술인 **MiCA(Minor Component Adaptation)**가 통합되었습니다. 현재 PyPI 정식 릴리스 전 단계이며, GitHub 메인 브랜치를 통해 즉시 사용 가능합니다.

MiCA의 핵심 원리는 기존 LoRA가 가중치 행렬의 주요 성분(dominant singular directions)을 조정하는 것과 달리, 모델의 기존 행동을 보존하면서 새로운 지식을 주입하기에 더 적합한 minor singular subspace를 활용한다는 점입니다.

주요 실험 결과:

• 지식 습득량(Knowledge uptake): LoRA 대비 평균 90% 향상
• 치명적 망각(Catastrophic forgetting): LoRA 대비 약 20% 감소
• 학습 파라미터 수: LoRA 대비 약 80% 절감

MiCA는 주로 지속적 사전 학습(Continued Pretraining) 및 **도메인 적응형 사전 학습(Domain-adaptive Pretraining)**에 최적화되어 설계되었습니다.