PEFT, LoRA 어댑터 병합 기능 업데이트

Hugging Face의 PEFT(Parameter-Efficient Fine-Tuning) 라이브러리에 LoRA 어댑터를 위한 새로운 모델 병합(merging) 방법이 추가되었다. 기존의 모델 병합 방식은 메모리 소모가 크고 전체 체크포인트를 다운로드해야 하는 번거로움이 있었으나, 이번 업데이트를 통해 동일한 베이스 모델에서 파생된 여러 어댑터를 효율적으로 결합할 수 있게 되었다.

새롭게 도입된 주요 병합 방식은 다음과 같다:

• Concatenation (cat): LoRA 행렬을 연결하여 가중치를 적용하는 방식으로, 서로 다른 랭크(rank)를 가진 어댑터들도 병합할 수 있다.
• Linear/Task Arithmetic (linear): Task Arithmetic 논문에서 제안된 방식으로, 어댑터의 델타 가중치를 가중 합산한다. 단, 참여하는 모든 어댑터의 랭크가 동일해야 한다.
• SVD (svd): 행렬 곱의 결과인 델타 가중치에 대해 특이값 분해(SVD)를 적용하여 병합을 수행한다.

이번 업데이트는 LoRA뿐만 아니라 향후 텍스트-투-이미지(text-to-image) 생성 모델로의 확장도 계획하고 있다.