Project Lighthouse 3부: project-lighthouse-anonymize 소개

에어비앤비는 2020년 민권 및 프라이버시 단체와 협력하여 개발한 Project Lighthouse의 핵심 익명화 코드를 오픈소스로 공개했다. 이 프로젝트는 사용자 계정에 연결되지 않은 지각된 인종 데이터를 활용하여 사용자 경험의 잠재적 차별을 측정하는 데 사용된다.

공개된 project-lighthouse-anonymize Python 라이브러리는 대규모 데이터셋의 확장 가능한 익명화를 지원한다. 이를 뒷받침하기 위해 두 가지 새로운 기술 논문이 arXiv에 발표되었다.

첫 번째 논문인 Core Mondrian은 확장 가능한 아키텍처와 병렬 처리를 갖춘 k-익명성(k-anonymity) 알고리즘을 제시한다. 이 알고리즘은 소규모 파티션은 즉시 재귀 처리하고 대규모 파티션은 큐 기반 병렬 처리를 결합하는 하이브리드 모델을 사용한다.

두 번째 논문은 익명화 데이터의 품질을 측정하는 프레임워크를 소개한다. 주요 지표로는 피어슨 상관계수, 수정된 정보 손실 지표(RILM), **정규화 상호 정보(NMIv1)**가 있으며, 이를 통해 분석가가 익명화 데이터가 통계적으로 유효한 결론을 도출할 수 있는지 신뢰할 수 있게 평가할 수 있다.

해당 라이브러리는 PyPI와 GitHub에서 다운로드 가능하며, 2020년 논문에서 제시한 k-익명성 및 p-민감 k-익명성(p-sensitive k-anonymity) 기술 프라이버시 모델을 모두 적용할 수 있다.