효율적인 퓨샷 학습 프레임워크 SetFit 공개

SetFit은 Sentence Transformer를 활용하여 클래스당 단 8~16개의 레이블된 데이터만으로도 높은 정확도를 달성하는 효율적인 퓨샷 미세 조정(few-shot fine-tuning) 프레임워크이다.

기존 방식과 달리 별도의 프롬프트(Prompt)나 버벌라이저(Verbaliser)가 필요하지 않으며, Sentence Transformer를 통해 직접 풍부한 임베딩을 생성한다.

주요 특징 및 장점:

• 빠른 학습 및 추론: 대규모 모델(T0, GPT-3 등)을 사용하지 않아 학습 속도가 훨씬 빠르고 효율적이다.
• 다국어 지원: 다국어 Sentence Transformer를 기반으로 다양한 언어의 텍스트 분류가 가능하다.

2단계 학습 프로세스:

1. 대조 학습(Contrastive Fine-tuning): 소량의 데이터를 사용하여 Sentence Transformer가 유사한 문장은 가깝게, 다른 문장은 멀게 배치하도록 미세 조정한다.
2. 분류 헤드 학습: 생성된 임베딩을 입력으로 하여 분류기(Classifier)를 학습시킨다.

성능 지표: RAFT 벤치마크에서 SetFit(Roberta Large)은 355M 파라미터 규모로 11B 규모의 T-Few 모델과 대등한 성능을 보였으며, GPT-3보다 높은 정확도를 기록했다.