SetFit를 활용한 소량 데이터 문맥 분류 사례

Witty Works는 비포용적 언어를 감지하는 글쓰기 어시스턴트를 개발하며 문맥 의존적인 단어 분류 문제에 직면했다. 기존 spaCy 기반 방식은 단어의 언어적 특징을 추출해 필터링했으나, 문맥에 따라 의미가 변하는 단어(예: 'fossil fuels' vs 'old fossil')를 구분하지 못하는 한계가 있었다.

Hugging Face 전문가의 가이드를 통해 다음과 같은 기술적 전환을 이루었다:

• Sentence Transformers 도입: 단어 임베딩 대신 문장 전체의 의미를 반영하는 문장 임베딩을 사용하여 문맥 파악 능력을 높였다.
• SetFit 활용: 대규모 데이터 주석 비용을 줄이기 위해 few-shot fine-tuning에 최적화된 SetFit 라이브러리를 도입했다.

이를 통해 Witty Works는 적은 양의 학습 데이터만으로도 문맥을 정확히 파악하는 분류 모델을 효율적으로 구축할 수 있었다.