단일 이미지로 생성하는 안정적 비디오 재질 3D

**SViM3D(Stable Video Materials 3D)**는 단일 이미지에서 멀티뷰 일관성을 갖는 **PBR(materials)**과 표면 법선을 예측해 3D 객체를 복원하는 프레임워크다.

기존 비디오 diffusion 기반 3D 복원은 빠르지만, 재질 표현이 단순하거나 별도 추정 단계가 필요해 relighting과 제어된 외형 편집에 한계가 있었다. SViM3D는 latent video diffusion model을 확장해, 각 생성 뷰마다 spatially varying PBR parameters와 법선을 함께 출력하고, explicit camera control에 따라 시점을 정밀하게 제어한다.

이 설계 덕분에 모델은 단순한 복원기를 넘어 재조명 가능한 3D asset 생성용 neural prior로도 활용된다. 또한 이 불완전하고 어려운 설정에서 품질을 끌어올리기 위한 여러 메커니즘을 추가해, 여러 object-centric 데이터셋에서 relighting과 novel view synthesis 모두에서 최신 성능을 보였다.

주요 특징은 다음과 같다.

• 단일 이미지 입력으로 일관된 멀티뷰 재질 생성
• PBR 파라미터와 surface normals를 함께 예측
• 카메라 제어 기반의 뷰 생성으로 relighting 지원
• AR/VR, 영화, 게임 등에서 쓸 수 있는 3D asset 생성 가능