Amazon EKS와 NVIDIA FLARE로 구현하는 연합학습: 3가지 데이터 시나리오 분석

데이터 프라이버시와 규제 준수가 중요한 환경에서 원본 데이터 이동 없이 모델을 학습하는 **연합학습(Federated Learning)**의 필요성이 커지고 있다. 본 내용은 Amazon EKS 위에 NVIDIA FLARE를 배포하여 실제 클러스터 환경에서 연합학습을 수행하고, 세 가지 데이터 시나리오를 통해 그 효과와 한계를 분석한다.

Amazon EKS 기반 NVIDIA FLARE 아키텍처

NVIDIA FLARE는 Python SDK 기반의 오픈소스 연합학습 프레임워크로, Amazon EKS 클러스터 위에서 1대의 서버와 3대의 클라이언트로 구성된다. 배포 구조는 상시 구동되는 부모 Pod와 작업 시 동적으로 생성되는 작업 Pod의 2계층으로 설계되어 자원 효율성을 높인다. 서버는 컨트롤러 역할을 하며 각 클라이언트에 태스크를 할당하고, 클라이언트는 로컬 데이터로 모델을 훈련한 후 가중치만 서버로 전송한다.

세 가지 데이터 시나리오 실험 결과

실험은 MNIST 데이터를 기반으로 한 FedAvg 알고리즘을 사용하여 진행되었으며, 데이터 분포와 품질에 따른 전역 모델의 성능 변화를 교차 사이트 평가(CSE)로 검증했다.

• 균일한 데이터 분포(IID): 세 사이트 모두 0~9 라벨이 고르게 분포된 경우, 전역 모델은 97% 정확도에 도달했다. 각 사이트의 로컬 모델 성능과 유사하여 연합학습의 추가적 이점은 제한적이었다.
• 비대칭적 데이터 분포: 각 사이트가 특정 라벨(예: 0, 3, 6)을 제외하고 데이터를 가진 경우, 로컬 모델은 약 70% 정확도에 머물렀다. 반면 전역 모델은 서로의 데이터 사각지대를 보완하여 96% 정확도로 회복하며 연합학습의 핵심 가치를 입증했다.
• 저품질 데이터 참여자 포함: 한 사이트(site-3)가 단일 라벨 데이터만 제공해 과적합이 발생한 경우, 해당 로컬 모델은 다른 사이트에서 성능이 붕괴했다. 그러나 샘플 수 가중치 덕분에 전역 모델은 98% 정확도를 유지하며 저품질 데이터의 영향을 방어했다.

시사점

연합학습은 데이터가 분리된 환경에서도 강력한 전역 모델을 구축할 수 있음을 보여준다. 특히 데이터 분포가 비대칭적일 때 로컬 모델 대비 성능 격차를 크게 줄일 수 있다. 다만, 저품질 데이터 참여자에 대한 견고함은 의도적 공격에 대한 완전한 방어를 의미하지는 않으므로, 운영자는 CSE 행렬을 통해 임포스터(imposter) 참여자를 식별하고 관리해야 한다.