AI 학습 데이터의 프라이버시 보존

민감한 의료·금융·제약 데이터로 학습한 모델은 훈련 데이터 자체가 자산이다. 이미 2023년 Google DeepMind 연구는 GPT-3.5-turbo가 PII를 그대로 되뇌일 수 있음을 보여줬고, Amazon 연구진은 단일 모델, federated learning(FL) gradient, 공유 글로벌 모델을 겨냥한 세 가지 공격을 재현했다. **differential privacy(DP)**와 **secure multiparty computation(MPC)**가 각각 어디에서 방어가 되는지도 함께 검증했다.

• membership inference는 모델의 신뢰도 점수 차이를 이용해 특정 레코드의 학습 포함 여부를 판별한다. 공격자는 원본 분포를 흉내 낸 데이터로 proxy model을 학습해 컷오프를 찾고, ResNet-50/ImageNet-1k 실험에서는 공격이 훈련 데이터라고 지목한 샘플의 **97%**가 실제 훈련 데이터였다.
• DP-SGD는 batch gradient에 Gaussian noise를 더해 학습한다. EMNIST에서 ε=1.5일 때 정확도는 78%, ε=3.0일 때 **82%**였고, DP가 없는 모델의 **90%**보다 낮았지만 유의미한 프라이버시-유틸리티 균형을 보였다.
• FL에서는 로컬 gradient만으로도 샘플 복원이 가능했다. 목표 gradient와 가장 가까운 배치를 찾는 최적화로 EMNIST의 단일 샘플 배치는 정확히, 크기 7 배치는 3개 샘플이 복원됐다. 하지만 PFL처럼 gradient를 MPC로 비밀분산해 합산하면 같은 공격이 실패했다.
• 공유 글로벌 모델 공격은 ReLU 전처리층의 nB개 뉴런을 이용해 평균 gradient를 샘플별 gradient로 분해했다. EMNIST에서 다른 참여자의 로컬 배치 샘플 대부분을 복원했지만, 글로벌 gradient에 다시 **DP-SGD(ε=1.5)**를 적용하자 유의미한 복원이 사라졌다.

결국 MPC는 학습 중 오가는 정보를, DP는 최종 모델이 노출하는 정보를 각각 막아주며, 두 기술을 함께 써야 민감한 AI 학습 데이터를 현실적으로 보호할 수 있다.