NVIDIA-NemotronLabs-RE-USE: 9.6M 파라미터로 48kHz까지 살리는 보편적 음성 강화

NVIDIA NemotronLabs RE-USE는 960만 개의 파라미터로 구성된 다국어 보편적 음성 강화 모델이다. 추가 노이즈, 잔향, 클리핑, 대역폭 제한, 코덱 아티팩트, 패킷 손실, 저품질 마이크 등 다양한 현실적 열화 요인을 동시에 처리한다. 특정 언어에 국한되지 않아 다양한 언어의 음성 품질을 균일하게 복원한다.

8kHz부터 48kHz까지 7가지 입력 샘플링 레이트를 지원하며, .wav 파일 형식의 모노 채널 오디오를 입력받아 동일한 형식의 강화된 오디오를 출력한다. 모델 아키텍처는 컨볼루션 인코더와 디코더, 그리고 시간-주파수 모델링을 위한 바이디렉셔널 Mamba 30층으로 구성된다. 30초를 초과하는 긴 오디오나 GPU 메모리 부족 상황에서는 청크 처리 스크립트를 통해 처리할 수 있다.

URGENT 2025 비블라인드 테스트셋 기준, 250M 파라미터의 Sidon이나 500M 파라미터의 UniPASE 등 기존 오픈소스 모델 대비 PESQ, STOI, 화자 유사도 등 주요 지표에서 우위를 보인다. 특히 44.1kHz 및 48kHz 하위 세트에서 Resemble Enhance, ClearVoice 대비 높은 점수를 기록하며 고음질 구간에서의 성능을 입증했다. 상업적 사용이 가능하며, NVIDIA Ampere 아키텍처 기반 GPU에서 최적화되어 동작한다.

콘텐츠 크리에이터는 녹음된 음성의 품질을 개선하는 데, 연구자는 텍스트-음성 변환(TTS)이나 음성 LLM 학습용 데이터셋을 정제하는 데 활용할 수 있다. 웃음 보존이 더 필요한 경우 별도 제공되는 RE-USE-laughter 모델을, 겹치는 음성에서는 주 화자를 보존하고 다른 화자를 억제하도록 학습된 이 모델을 사용하면 된다.