점진적 정제: 만다린-영어 코드스위칭 ASR를 위한 반복적 의사 라벨링 접근법

코드스위칭(Code-Switching)은 동일한 발화 내에서 언어를 전환하는 현상으로, 학습 데이터 부족으로 인해 자동 음성 인식(ASR) 시스템에 큰 도전 과제입니다. 이 연구는 반복적 의사 라벨링(iterative pseudo-labeling) 접근법을 코드스위칭 ASR에 처음 적용하여, unlabeled 데이터를 활용해 모델 성능을 개선하는 효과를 입증했습니다.

해당 접근법은 크게 세 단계로 구성됩니다. 먼저 대규모 unlabeled 코퍼스에서 **의사 라벨(pseudo-labels)**을 생성하여 반지도 학습(semi-supervised) 데이터셋을 구축합니다. 이후 이 데이터셋을 기반으로 2단계 이중 언어 모델 학습을 수행하며, 사전 학습(pre-training) 후 감독 학습(supervised) 코드스위칭 데이터로 미세 조정(fine-tuning)합니다. 마지막으로 반복적 정제를 통해 복잡한 코드스위칭 시나리오에서의 모델 정확도를 추가로 향상시킵니다.

이 방법을 적용한 시스템은 SEAME의 devman(6.35%) 및 devsge(8.29%) 서브셋에서 **Mix Error Rate(MER)**을 현저히 낮추는 성과를 거두었습니다. 이는 코드스위칭 ASR 시스템의 정확도를 크게 향상시키는 중요한 진전을 의미합니다.