Apple, Whisper-small 기반 경량 코드 스위칭 감지 기법 제안

Apple 연구진이 사전 학습된 음성 인코더를 활용해 음성에서 코드 스위칭(CS)을 감지하는 경량화 기법을 제안했다. 이는 다국어 혼용이 사전 학습 데이터셋에 충분히 반영되지 않은 문제를 해결하기 위한 방안으로, 정확한 다국어 전사 없이도 단일 발화 내에 두 언어가 모두 포함되었는지 식별한다.

방법론

단일 언어 녹음 데이터를 통해 언어 선택적 은닉 상태 차원(language-selective hidden-state dimensions)을 식별하고, 프레임 단위 활성화를 집계하여 CS 예측값을 생성한다. 소규모 CS 데이터셋으로 결정 규칙을 튜닝하여 높은 연산 부하 없이 시스템을 구동할 수 있다.

성능 결과

CS-FLEURS 데이터셋에서 Whisper-small 인코더는 14개 언어 쌍에 걸쳐 평균 F1 점수 0.798을 기록했다. 이는 다음과 같은 기준 모델보다 우수한 성능이다.

• F1 점수 0.776인 CNN 기준 모델
• 단일 언어 식별용으로 학습된 HuBERT 선형 기준 모델의 F1 점수 0.751

사전 학습된 음성 인코더가 CS 발화를 식별할 수 있는 충분한 정보를 이미 포함하고 있음을 시사하며, 더 대표성 있는 다국어 데이터셋 구축을 위한 실용적인 도구로 활용될 수 있다.