StereoFoley: 비디오 기반 객체 인지 스테레오 오디오 생성

StereoFoley는 비디오를 입력으로 받아 48 kHz 스테레오 오디오를 생성하는 video-to-audio 프레임워크다. 기존 모델들이 의미 일치와 시간 동기화에서는 강했지만, 객체별 공간감을 살린 stereo imaging은 부족했고, 그 배경에는 전문적으로 믹스된 공간 오디오 데이터셋 부족이 있었다.

핵심은 두 단계다.

• 먼저 base model을 학습해 의미 정확도와 동기화에서 최고 수준을 달성했다.
• 이어 비디오 분석, 객체 추적, audio synthesis를 결합한 synthetic data pipeline을 만들고, dynamic panning과 distance-based loudness 제어로 객체 위치에 맞는 공간 오디오를 합성했다.

이 synthetic dataset으로 fine-tuning한 뒤에는 객체와 오디오의 대응 관계가 더 선명해졌다. 평가를 위해 새 stereo object-awareness 지표를 제안하고 청취 실험으로 검증했으며, 지표가 사람의 지각과 강하게 상관된다는 점도 확인했다. 결과적으로 객체 인지 stereo video-to-audio 생성을 위한 첫 end-to-end framework를 제시했다.