LoRA를 대체할 PEFT 기술 탐색

현재 파라미터 효율적 미세 조정(PEFT) 분야에서 **LoRA(Low Rank Adaptation)**는 압도적인 점유율을 차지하고 있습니다. Hugging Face의 통계에 따르면, PEFT를 사용하는 모델 카드의 약 **98.4%**가 LoRA를 사용하며, 이미지 생성 체크포인트의 95% 역시 LoRA 방식입니다.

하지만 LoRA의 높은 인기는 기술적 우월성뿐만 아니라, 초기 출시된 기술로서 얻은 선점 효과(Self-reinforcing) 때문일 가능성이 있습니다. 많은 연구가 LoRA보다 뛰어난 성능을 가진 새로운 기법들을 제안하고 있습니다.

효과적인 모델 미세 조정을 위해서는 다음과 같은 점을 고려해야 합니다:

• LoRA의 한계 인지: 단순히 가장 대중적인 기술이라는 이유만으로 선택하기보다, 특정 작업에 더 적합한 대안이 있는지 검토가 필요함
• 다양한 PEFT 라이브러리 활용: Hugging Face의 PEFT 라이브러리는 LoRA 외에도 다양한 최신 기법들을 통합된 API로 제공함
• 선택 기준의 다변화: 단순한 논문상의 성능 지표뿐만 아니라, 실제 워크로드에서의 효율성을 고려한 기술 선택이 중요함