SV3D: Latent Video Diffusion을 활용한 단일 이미지 기반의 다중 뷰 합성 및 3D 생성

기존의 3D 생성 기술은 2D 생성 모델을 활용해 새로운 시점 합성(NVS)이나 3D 최적화를 시도해 왔으나, 관찰 가능한 시점이 제한적이거나 시점 간 일관성이 부족해 3D 객체 생성 성능이 저하되는 한계가 있었다.

SV3D는 Latent Video Diffusion 모델을 다중 뷰 합성 및 3D 생성에 맞게 조정하여 이 문제를 해결한다. 비디오 모델이 가진 강력한 일반화 능력과 다중 뷰 일관성을 활용하는 동시에, 명시적인 카메라 제어(Camera Control) 기능을 추가해 정교한 시점 합성을 구현한다.

또한, SV3D의 NVS 출력을 활용해 이미지로부터 3D 객체를 생성할 수 있도록 개선된 3D 최적화 기술을 함께 제안한다.

다양한 데이터셋을 통한 실험 결과, SV3D는 기존 연구들과 비교해 NVS 및 3D 재구성(3D Reconstruction) 성능 모두에서 최첨단(SOTA) 수준을 달성했다.