Hugging Face, PEFT 라이브러리 공개

대규모 언어 모델(LLM)의 크기가 급격히 커짐에 따라, 모든 파라미터를 업데이트하는 전체 미세 조정(Full Fine-tuning)은 막대한 컴퓨팅 자원과 저장 공간을 요구하는 한계에 직면했다.

🤗 PEFT(Parameter-Efficient Fine-Tuning) 라이브러리는 대부분의 파라미터를 고정(freeze)하고 소수의 추가 파라미터만 학습시키는 방식을 통해 이러한 문제를 해결한다. 이를 통해 계산 및 저장 비용을 획기적으로 절감할 수 있으며, 모델이 기존 지식을 잃어버리는 치명적 망각(Catastrophic Forgetting) 현상도 방지할 수 있다.

현재 지원되는 주요 기술은 다음과 같다:

• LoRA (Low-Rank Adaptation)
• Prefix Tuning
• Prompt Tuning
• P-Tuning

이 라이브러리를 활용하면 RTX 2080 Ti나 3080과 같은 소비자용 GPU 환경에서도 수십억 개의 파라미터를 가진 모델을 미세 조정할 수 있다. 또한, Stable Diffusion의 Dreambooth 학습과 같이 이미지 생성 모델 등 다양한 모달리티에도 적용이 가능하다.