Apple, 온라인 유사 라벨로 연방 ASR 학습 안정화… 정확도 최대 20.8% 향상

Apple 연구진이 **자동 음성 인식(ASR)**을 위한 **반지도 학습 연방 학습(SSFL)**의 실용적인 해결책을 제시했다. 이 연구는 학습 발산을 유발하는 유사 라벨의 취약성을 해결하기 위해 교사 모델 선택과 서버 측 앵커링을 핵심 설계 축으로 규명했다.

교사 모델과 앵커의 상호작용

연구에 따르면 각 클라이언트의 진화하는 모델을 사용하는 클라이언트별 온라인 교사 모델은 단독으로는 발산할 수 있지만, 학습이 안정화되면 정적인 전역 교사 모델과 동등하거나 더 나은 성능을 보인다. 이 이점은 도메인 내(in-domain) 시나리오에서 결정적이며, 도메인 변화 시에도 경쟁력 있다. 라벨이 지정된 시드 데이터셋이 증가하면 특정 라운드에서 전역 교사 모델에서 온라인 교사 모델로 전환하는 전환형 교사 모델 전략이 정적 접근법과 동등하거나 더 나은 성능을 낸다.

중요한 점은 앵커 축이 서버가 라운드 사이에 라벨이 지정된 데이터로 계속 학습하도록 요구한다는 것이다. 이 교차 학습은 온라인 교사 모델의 표류를 방지하고 초기 시드 모델만 사용하는 것보다 수렴을 더 효과적으로 제어한다. 두 축은 분리할 수 없다. 공격적인 교사 모델 선택은 앵커가 학습을 안정화할 때만 이점을 제공하며, 이 과정은 입력 및 그래디언트 노이즈를 제어하는 데이터 증강과 배치 크기 설정에 매우 민감하다.

성능 및 가이드라인

제안된 방법은 테스트된 11개 쌍 중 9개에서 기존 최강 SSFL 기술보다 성능이 향상되었다. 도메인 내 정확도는 평균 20.8%, 도메인 간 정확도는 10.0% 개선되어 완전 지도 연방 학습과의 격차를 크게 좁혔다. 연구 결과는 ASR용 SSFL에 대한 구체적인 가이드라인을 제시하며, 필요한 안정화 수준은 시드 데이터의 분산과 클라이언트 데이터와의 중복도에 따라 도메인별로 달라진다고 밝혔다.