Hugging Face, ML 편향성 대응 가이드

머신러닝(ML) 시스템은 자동화와 대규모 처리를 가능하게 하지만, 훈련 데이터에 포함된 차별적이고 유해한 행동을 복제하고 증폭할 위험이 있다.

ML 편향성의 주요 위험성:

• 행동 고착화: 사회적 진보를 저해하고 과거의 편향된 행동을 기술에 고착시킴.
• 유해성 확산: 원래 데이터의 맥락을 벗어나 유해한 행동을 광범위하게 확산시킴.
• 불평등 증폭: 고정관념에 기반한 예측을 통해 사회적 불평등을 심화시킴.
• 구제 수단 상실: '블랙박스' 시스템 내부에 편향을 숨겨 사용자의 이의 제기를 어렵게 만듦.

Hugging Face는 이러한 문제를 해결하기 위해 ML 개발 주기 전반에 걸친 대응 방안과 도구를 제시한다.

• 태스크 정의: 시스템의 목적과 잠재적 영향을 고려한 설계.
• 데이터셋 큐레이션: 데이터 수집 및 선택 단계에서의 편향 관리.
• 모델 학습: 모델 훈련 과정에서의 편향 분석 및 완화.

이를 지원하기 위해 Hugging Face 팀이 개발한 다양한 편향 분석 및 문서화 도구들을 활용할 수 있다.