DP-FedSOFIM: 2차 연산 기반 연합 학습 최적화

기존의 차분 프라이버시(Differential Privacy, DP) 기반 연합 학습은 주로 1차 미분(Gradient)에 의존하며, 엄격한 프라이버시 예산 하에서는 노이즈가 유효한 그래디언트 정보를 압도하여 학습 효율이 저하되는 문제가 있습니다.

DP-FedSOFIM은 다음과 같은 차별점을 가집니다:

• 클라이언트 부하 최소화: 기존 DP-FedGD와 동일한 수준의 데이터(Gradient vector)만 전송하며, 클라이언트 측의 메모리나 통신량을 늘리지 않습니다.
• 서버 측 곡률 추정: 클라이언트가 아닌 서버에서 Fisher Proxy를 활용해 곡률(Curvature)을 추정합니다. 서버는 EMA(지수 이동 평균)를 통해 프라이버시가 적용된 집계값을 유지하며, Sherman-Morrison 공식을 사용하여 행렬을 직접 생성하지 않고도 효율적으로 Preconditioned step을 계산합니다.
• 효율적인 최적화: 전체 Hessian 행렬을 구하는 대신, 실행 중인 방향의 곡률 신호를 활용하여 통신 병목 현상이 발생하는 환경에서도 더 나은 학습 동역학을 제공합니다.

결과적으로 이 방식은 클라이언트의 프라이버시 보호 수준을 유지하면서도, 2차 연산의 이점을 활용해 학습 수렴 속도와 효율성을 개선합니다.