Hugging Face, 데이터셋 PII 탐지 실험

Hugging Face는 데이터셋 허브에 업로드된 머신러닝 데이터셋에서 **미기재된 개인정보(PII)**가 발견되는 문제를 해결하기 위해 새로운 기능을 실험 중이다.

주요 내용은 다음과 같다:

• 문제 인식: 웹 크롤링 기반의 대규모 사전 학습 데이터셋에서 미세한 개인정보가 유출되어 프라이버시 침해 및 모델의 편향성을 초래할 수 있음.
• 해결 방안: 오픈소스 PII 탐지 도구인 Presidio를 활용하여 데이터셋 내 개인정보 존재 여부를 추정하는 리포트를 제공함.
• 기대 효과:
  • 사용자: 데이터셋 학습 전 민감 정보 포함 여부를 확인하고 추가 필터링 여부를 결정할 수 있음.
  • 데이터셋 소유자: 데이터 공개 전 PII 필터링 프로세스의 유효성을 검증할 수 있음.

현재 이 기능은 실험 단계이며, allenai/c4 데이터셋 예시를 통해 이메일 등 민감 정보 탐지 결과를 확인할 수 있다.