LAFUFU: 초고속 음성 복원을 위한 잠재적 음향 특징(Latent Acoustic Features)

기존의 음성 복원(Speech Restoration) 기술은 노이즈나 잔향이 포함된 오디오를 깨끗한 상태로 재구성하는 것을 목표로 합니다. 최근에는 **생성형 확산 모델(Generative Diffusion Models)**이 우수한 성능을 보이고 있으나, 고차원의 오디오 표현 방식과 반복적인 샘플링 과정으로 인해 계산 비용이 매우 높다는 단점이 있습니다. 특히 48kHz 고해상도 오디오의 경우 연산 부담이 더욱 커져 실시간 서비스 적용에 한계가 있었습니다.

LAFUFU는 이러한 문제를 해결하기 위해 잠재 공간(Latent Space) 기반의 음향 표현 방식을 도입했습니다. 원본 오디오 스펙트로그램에서 직접 확산 과정을 수행하는 대신, 맞춤형 **오토인코더(Autoencoder)**를 통해 추출된 압축된 특징(Compact Features) 위에서 확산 프로세스를 진행합니다.

이러한 접근 방식은 다음과 같은 이점을 제공합니다:

• 추론 속도 향상: 압축된 잠재 공간에서 연산을 수행하여 고해상도 오디오 처리 시에도 매우 빠른 속도를 구현합니다.
• 고품질 결과물: 동일한 시간 제약 조건 하에서 기존의 비잠재(Non-latent) 방식보다 더 높은 품질의 음성을 생성합니다.
• 우수한 벤치마크 성능: EARS-WHAM 및 EARS-Reverb 48kHz와 같은 최신 벤치마크에서 경쟁력 있는 성능을 입증했습니다.