ProText: 장문 텍스트의 (오)성별화를 측정하는 벤치마크 데이터셋

ProText는 스타일이 다양한 장문 영어 텍스트에서 성별화와 오성별화를 측정하기 위한 데이터셋이다. 이름, 직업, 직함, 친족 용어 같은 Theme nouns를 기준으로, Theme category와 Pronoun category를 함께 조합해 편향을 정밀하게 점검하도록 설계됐다.

이 데이터셋은 요약과 재작성 같은 텍스트 변환 과정에서 최신 LLM이 어떻게 성별을 추론하고 덧씌우는지 살펴보는 데 초점을 맞춘다. 기존의 대명사 해소 벤치마크를 넘어서며, gender binary에만 갇히지 않고 더 넓은 성별 표현 문제를 다룬다.

저자들은 두 개의 프롬프트와 두 개의 모델만으로도 미니 사례 연구를 수행해 의미 있는 차이를 포착할 수 있음을 보였다.

• 입력에 명시적 성별 단서가 없을 때 편향이 더 두드러졌다.
• 모델이 heteronormative assumptions에 기대어 기본값을 정하는 경향이 확인됐다.
• 결과적으로, 성별 편향, 고정관념, 오성별화, 성별화 문제를 함께 분석할 수 있는 측정 기반을 제시했다.