Airbnb, Presidio와 GLiNER로 AI 학습 데이터 PII 비식별화

·2026.11.18 03:01

핵심 내용

Airbnb가 Presidio와 GLiNER로 PII를 비식별화하는 파이프라인을 구축했다.

1 / 8

자세히 보기

  • Airbnb은 기계학습 모델 학습 전 메시지, 리뷰, 지원 채팅에서 PII를 제거하기 위해 텍스트 비식별화 시스템을 구현함
  • 시스템은 오픈소스 Presidio 라이브러리를 기반으로 구축했으며, 데이터가 Airbnb 인프라에 머물고 독립적인 작업 실행을 위해 온프레미스 Python 패키지로 호스팅함
  • ID는 패턴 기반, NER 기반 인식기를 혼합해 탐지하며, Airbnb는 기본 spaCy 엔진 대신 GLiNER를 PERSON 및 LOCATION 엔티티에 적용해 도로 주소 등 특정 데이터 유형의 정밀도를 높임
  • Anonymizer는 faker 라이브러리를 사용해 탐지된 PII를 현실적인 가짜 값으로 대체함. 단일 실행 내에서는 동일한 실제 값이 동일한 가짜 값으로 매핑되지만, 실행 간에는 다른 가짜 값이 생성되어 지문 추적을 방지함
  • 품질은 재현율, 정밀도, 처리량으로 평가하며, 새 버전 출시 전 탐지 기능 회귀를 방지하기 위해 엔티티 유형 및 언어별 지표를 보고함

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.