WavFlow, Waveform 공간에서 직접 오디오 생성 (GitHub Repo)

WavFlow는 비디오와 텍스트 입력으로부터 동기화된 고품질 오디오를 원본 waveform 공간에서 직접 생성하는 새로운 패러다임을 제시한다. 기존 방식과 달리 latent 압축을 완전히 우회한다.

핵심 기술은 waveform patchifying과 amplitude lifting으로, 원본 오디오에서 안정적인 flow matching을 가능하게 하며 direct x-prediction 방식을 사용한다.

성능 평가: VGGSound(VT2A)와 AudioCaps(T2A) 벤치마크에서 WavFlow는 기존 latent 기반 방법과 동등한 성능을 보이며, 음향 풍부함, 충실도, 동기화 측면에서 end-to-end waveform 생성이 전통적인 프레임워크와 대등함을 입증했다.

사용법:

• 설치: conda 환경 구성 후 scripts/setup.sh 실행
• 추론: 비디오, 텍스트, 또는 둘 다 입력 가능한 CSV 형식 지원
• CLIP, Synchformer 등 외부 가중치는 첫 실행 시 자동 다운로드
• 모델 옵션: medium/large × 16kHz/44kHz 조합

체크포인트 제한: 조직 정책상 프로덕션 학습 체크포인트는 현재 공개 불가하며, 완전 오픈소스 데이터로 학습한 기본 체크포인트를 준비 중이다. 그동안 상세한 학습 가이드를 통해 직접 학습할 수 있다.

라이선스: CC-BY-NC 4.0이며, MMAudio, JiT, Synchformer 등 오픈소스 프로젝트를 기반으로 구축되었다.