SV4D: 다중 프레임 및 다중 뷰 일관성을 통한 동적 3D 콘텐츠 생성

기존 방식은 비디오 생성과 새로운 시점 합성(novel view synthesis)을 위해 각각 별도로 학습된 생성 모델에 의존해야 했다. SV4D는 이를 해결하기 위해 단일 비디오를 기반으로 다중 프레임 및 다중 뷰 일관성을 유지하며 동적 3D 콘텐츠를 생성하는 **통합 확산 모델(unified diffusion model)**을 제안한다.

사용자가 단안(monocular) 참조 비디오를 입력하면, SV4D는 각 비디오 프레임에 대해 시간적으로 일관된 새로운 시점의 비디오를 생성한다. 이후 생성된 비디오를 활용해 **동적 NeRF(dynamic NeRF)**와 같은 암시적 4D 표현을 효율적으로 최적화한다.

이 과정에서 기존 연구들이 주로 사용하던 번거로운 SDS(Score Distillation Sampling) 기반 최적화 과정 없이도 효율적인 최적화가 가능하다는 것이 핵심이다. 모델 학습을 위해 Objaverse 데이터셋에서 추출하여 정제한 동적 3D 객체 데이터셋을 사용했다.

다양한 데이터셋을 통한 실험과 사용자 조사 결과, SV4D는 새로운 시점의 비디오 합성 및 4D 생성 분야에서 기존 모델들을 뛰어넘는 SOTA(State-of-the-art) 성능을 입증했다.