AudioLDM 2 추론 속도 10배 향상

AudioLDM 2는 텍스트 프롬프트를 입력받아 효과음, 음성, 음악을 생성하는 **Latent Diffusion Model(LDM)**이다. 기존 구현은 다단계 모델링 구조와 큰 체크포인트 크기로 인해 10초 분량의 오디오를 생성하는 데 30초 이상이 소요되는 속도 문제가 있었다.

Hugging Face의 Diffusers 라이브러리는 이를 해결하기 위해 다음과 같은 최적화 기법을 적용했다:

• Half-precision (FP16) 및 Flash Attention 적용
• 모델 컴파일(Compilation) 활용
• 스케줄러(Scheduler) 선택 및 Negative Prompting 최적화

이러한 최적화를 통해 오디오 품질 저하를 최소화하면서도 10초 오디오 생성 시간을 1초로 단축하여, 기존 대비 10배 이상의 속도 향상을 달성했다.