음향 이웃 임베딩을 위한 이론적 프레임워크

Acoustic Neighbor Embeddings를 고정 차원 공간에서 음성·텍스트의 음운 내용을 담는 표현으로 해석할 수 있는 이론적 틀이 제시된다. 임베딩 사이 거리는 단어 간 음성 유사성의 정량적 정의를 바탕으로 한 확률적 의미를 갖는다.

이 틀은 임베딩이 uniform cluster-wise isotropy에 가깝다는 이론적·실증적 근거 위에서 성립하며, 그 결과 거리를 단순한 Euclidean distance로 환원할 수 있다. 복잡한 해석을 유지하면서도 실제 적용은 훨씬 단순해진다.

검증을 위해 4개 실험이 수행됐다.

• 오디오와 텍스트 임베딩 간 nearest-neighbor search로 하는 isolated word classification은 500k 규모의 vocabulary에서도 FST와 동일한 정확도를 보였다.
• out-of-vocabulary 단어 복원에서는 phone edit distance와 비교해 정확도 차이가 0.5% point에 불과했다.
• English dialect clustering에서는 인간 청취 실험과 동일한 clustering hierarchy가 만들어졌다.
• wake-up word의 기대 confusion을 예측하는 데도 임베딩 거리 해석이 유효했다.

모든 source code와 pretrained models가 함께 제공돼, 이론 검증을 넘어 실제 활용까지 이어질 수 있도록 했다.