🤗 Evaluate, 편향성 평가 기능 추가

언어 모델의 규모가 커짐에 따라 모델과 학습 데이터에 내재된 편향성(Bias) 문제가 중요해지고 있다. Hugging Face는 이를 탐지하고 이해하기 위해 🤗 Evaluate 라이브러리에 새로운 편향성 측정 지표를 도입했다.

이번 업데이트는 **인과 언어 모델(Causal Language Models, CLMs)**인 GPT-2와 BLOOM과 같은 모델의 텍스트 생성 능력을 활용하여 편향성을 평가하는 데 중점을 둔다. 평가 워크플로우는 다음과 같은 두 단계로 진행된다:

• 프롬프팅: 🤗 Datasets에 호스팅된 사전 정의된 프롬프트 세트를 사용하여 모델에 입력
• 평가: 🤗 Evaluate를 사용하여 생성된 결과물을 특정 지표로 측정

주요하게 다뤄지는 세 가지 유해 언어 관련 작업은 다음과 같다:

• Toxicity (독성): 모델이 혐오 표현과 같은 문제가 있는 콘텐츠를 생성할 가능성을 평가
• Polarity (극성): 생성된 텍스트의 성향을 측정
• Hurtfulness (유해성): 모델이 타인에게 상처를 줄 수 있는 내용을 생성하는지 평가

예를 들어, WinoBias 데이터셋의 프롬프트를 활용해 성별 대명사(he/she) 변화에 따른 GPT-2의 생성 결과 차이를 Toxicity 점수로 측정함으로써 모델의 편향성을 수치화할 수 있다.