SV4D 2.0: 고품질 4D 생성을 위한 Multi-View Video Diffusion의 시공간적 일관성 강화

SV4D 2.0은 동적 3D 자산 생성을 위한 Multi-View Video Diffusion 모델이다. 이전 버전인 SV4D와 비교해 폐쇄(occlusion)와 큰 움직임에 더 강하며, 실세계 비디오에 대한 일반화 성능과 디테일의 선명도, 시공간적 일관성이 크게 향상되었다.

주요 개선 사항은 다음과 같다:

• 네트워크 아키텍처: 참조 멀티뷰 의존성을 제거하고 3D 및 프레임 어텐션을 위한 블렌딩 메커니즘 설계
• 데이터: 학습 데이터의 품질과 양을 모두 강화
• 학습 전략: 일반화 성능을 높이기 위해 Progressive 3D-4D training 채택
• 4D 최적화: 2단계 정제(2-stage refinement) 및 점진적 프레임 샘플링을 통해 3D 불일치와 큰 움직임 문제 해결

실험 결과, SV4D 2.0은 시각적 및 정량적 측면에서 유의미한 성능 향상을 보였다. novel-view video synthesis에서 디테일은 -14% LPIPS, 4D 일관성은 -44% FV4D를 달성했으며, 4D 최적화에서도 각각 -12% LPIPS와 -24% FV4D의 개선을 기록했다.