Lift4D: In-the-Wild 4D 재구성을 위한 단일 뷰 3D 추정의 조화

기존의 4D 재구성 방식은 4D 학습 데이터의 부족이나, 비디오 감독(supervision)에만 의존하여 복잡한 가려짐(occlusion)이나 큰 변형이 있는 환경에서 한계를 보였습니다.

Lift4D는 이를 해결하기 위해 다음과 같은 테스트 타임 최적화(test-time optimization) 프레임워크를 도입합니다.

• Causal Latent Conditioning: 기존의 단일 뷰 3D 재구성 모델을 조정하여 시간적으로 일관된 프레임별 예측을 생성하고, 이를 3D Gaussian Splatting 표현을 위한 일관된 초기값으로 제공합니다.
• Occlusion-aware Optimization: 입력 비디오와 일치하도록 표현을 '조각(sculpt)'하며, 가려진 영역은 View-conditioned Diffusion Prior를 사용하여 미관상 자연스럽게 완성합니다.

이 방법론은 특히 심한 가려짐과 비강체(non-rigid) 움직임이 발생하는 In-the-wild 시퀀스에서 기존 방식보다 뛰어난 성능을 입증했습니다.