프라이버시 보존 초기화와 정규성 기반 집계를 적용한 차등 프라이버시 군집형 Federated Learning

PINA는 **차등 프라이버시(DP)**가 들어간 군집형 Federated Learning에서 non-IID 데이터가 만드는 수렴 지연을 줄이기 위해, 초기화와 집계를 분리해 설계했다. 단순 DP 노이즈가 클라이언트 업데이트를 과도하게 흔들어 클러스터 구조까지 망가뜨리는 점을 정면으로 겨냥했다.

• 초기화 단계에서는 사전학습 Transformer에 **LoRA(r=1)**를 붙여 마지막 attention layer의 value projection matrix만 미세조정한다. 각 클라이언트는 업데이트의 가장 큰 양수/음수 항목만 남기고 나머지는 0으로 만든 뒤 LDP를 적용해 서버에 보내고, 서버는 이 희소 스케치를 바탕으로 초기 클러스터 모델을 만든다.
• 학습 단계에서는 클라이언트가 손실값으로 클러스터를 식별한 뒤 선택한 클러스터 모델을 로컬 데이터로 학습한다. 업데이트는 clipping과 노이즈 추가 후 SecAgg 기반 **Distributed DP(DDP)**로 집계되며, 서버는 초기에는 가장 작은 ℓ2 norm으로, 이후에는 Shapiro-Wilk 검정 통계량으로 추정한 정규성에 따라 집계 크기를 다시 조정한다.

실험은 10,000명 클라이언트를 가정하고 ϵ = 2, 8 조건에서 rotated CIFAR-10(C = 2), rotated FMNIST(C = 4), FEMNIST(C = 2)로 진행했다. 22M 파라미터의 ViT-Small을 ImageNet-21k로 사전학습한 뒤 FedAvg, FedProx, FedNova, IFCA와 비교했으며, PINA가 세 데이터셋 모두에서 SOTA를 앞섰다.

특히 ϵ = 2에서는 rotated CIFAR-10, rotated FMNIST, FEMNIST에서 각각 최대 2.9%, 2.9%, **3.1%**의 정확도 향상을 보였다. 제거 실험에서는 강한 프라이버시 조건이 오히려 클러스터링 구조를 더 잘 살렸고, 전체 학습 과정에 LDP를 넣은 IFCA는 구조를 해쳤으며, 제안한 초기화는 랜덤 초기화보다 훨씬 빠르게 최적 클러스터링으로 수렴했다. 전체적으로 평균 **2.9%**의 테스트 정확도 향상을 기록했다.