Hugging Face, SpeechT5 지원

Microsoft Research Asia가 개발한 SpeechT5가 🤗 Transformers 라이브러리에 공식적으로 추가되었습니다. SpeechT5는 단일 아키텍처를 통해 다양한 음성 처리 작업을 수행할 수 있는 통합 모델입니다.

주요 지원 기능:

• 음성 인식 (ASR): 음성을 텍스트로 변환하거나 화자 식별 수행
• 음성 합성 (TTS): 텍스트를 음성으로 변환
• 음성 변환 (Speech-to-Speech): 목소리 변환 및 음성 향상(Enhancement)

핵심 아키텍처: SpeechT5는 Transformer encoder-decoder를 기반으로 하며, 텍스트와 음성이 공유하는 **통합된 은닉 표현 공간(unified space)**을 학습합니다.

입력 데이터의 특성에 맞춰 pre-nets와 post-nets를 활용합니다. pre-net은 텍스트나 음성을 Transformer가 처리할 수 있는 형태로 변환하고, post-net은 Transformer의 출력을 다시 텍스트나 음성으로 복원합니다. 이를 통해 하나의 모델로 여러 음성 관련 태스크를 유연하게 수행할 수 있습니다.