Stable Part Diffusion 4D: 단일 시점 입력에서 멀티뷰 RGB와 kinematic part 비디오 생성

**Stable Part Diffusion 4D(SP4D)**는 단일 시점 입력에서 RGB 프레임과 kinematic part segmentation을 함께 생성하는 프레임워크다. 기존처럼 외형 중심 의미 분할에 의존하지 않고, 물체의 관절 구조와 시간적 일관성에 맞는 파트를 학습한다.

핵심은 dual-branch diffusion model이다. 한 분기는 RGB 영상을, 다른 분기는 대응하는 파트 segmentation map을 생성하며, 두 결과가 서로 어긋나지 않도록 설계됐다.

아키텍처 단순화를 위해 spatial color encoding을 도입해 파트 마스크를 연속적인 RGB-like 이미지로 변환한다. 덕분에 segmentation branch가 RGB branch의 latent VAE를 공유할 수 있고, 최종 파트 맵은 후처리만으로 복원된다.

브랜치 간 일관성은 BiDiFuse(Bidirectional Diffusion Fusion) 모듈이 강화한다. 여기에 contrastive part consistency loss를 더해 공간적·시간적 정렬을 촉진한다.

• 생성된 2D part map은 3D로 lifting할 수 있다.
• 이를 통해 skeletal structure와 harmonic skinning weights를 비교적 적은 수작업으로 추출한다.
• 파트 수를 유연하게 바꿀 수 있어 다양한 객체에 적용하기 쉽다.

학습과 평가를 위해 KinematicParts20K를 구축했다. Objaverse XL에서 선별·가공한 **2만 개 이상(20K+)**의 rigged object를 모아, 각각에 대해 multi-view RGB와 part video sequence를 짝지었다.

실험에서는 실제 영상, 새로 생성된 객체, 희귀한 관절 자세까지 폭넓게 일반화하며, 애니메이션과 모션 관련 후속 작업에 쓸 수 있는 kinematic-aware output을 생성하는 것으로 나타났다.