AI BriefingFairStress, LLM이 소수자 후보 전환 시 정답 포기 9.3% 증가 확인
FairStress: A deeper evaluation of fairness in LLM decision-making
·2026.10.21 01:09
핵심 내용
FairStress 벤치마크가 LLM의 소수자 후보 선택 시 정답 포기 빈도가 9.3% 더 높음을 입증했다
자세히 보기
- Ai2가 29개 도메인, 1300만 개 이상의 테스트 케이스로 구성된 벤치마크 FairStress를 공개하여 단순 결과 평등 이상의 LLM 의사결정 인구통계적 공정성을 평가함
- 소수자 코딩 후보가 적대적 접두사로 표적화될 때 다수자 코딩 대상보다 정답 후보를 6.9~9.3%p 더 자주 포기하는 '반 고정관념 과잉 보정(anti-stereotypical over-correction)' 현상 확인
- Gemma-3-12B-it과 Qwen2.5-7B-Instruct의 내부 활성화 분석을 통해 인구통계적 선택을 73% 정확도로 예측하며, 소수자 선택 설명은 절차적 증거보다 신원 기반 언어에 더 의존함
- 대부분의 편향 제거 개입은 비대칭성을 안정적으로 줄이지 못하며, 활성화 스티어링은 Qwen2.5-7B-Instruct 정확도를 98%에서 47%로 떨어뜨린 반면 반사실적 사고 연쇄(counterfactual chain-of-thought)는 정확도를 유지하면서 오류 격차를 축소함
- Olmo 3 학습 데이터 분석 결과 차별적 요청 거부 교육과 자격 기반 의사결정 교육 간 격차가 존재하며, 28,000개 토픽 클러스터 중 자격 기반 선택을 다루는 것은 9개에 불과함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
