4Director, 강체 3D 지오메트리로 비디오 월드 모델 제어

전문 영상 제작에서 카메라와 객체 움직임의 정밀한 제어는 기존 방식이 모호한 이미지 평면 단서나 불완전한 3D 트랙에 의존해 온 탓에 여전히 난제로 남아 있다. 4Director는 각 객체를 정준 메시로 한 번 복원하고 프레임별 강체 변환으로 이동시키는 명시적인 4D 장면 표현을 비디오 월드 모델에 조건으로 적용해 이 문제를 해결한다.

이 접근법은 매 프레임마다 관측되지 않은 지오메트리가 독립적으로 재생성되는 것을 방지해 시점 변화에도 일관성을 유지한다. 시스템은 제어된 장면을 깊이 비디오로 렌더링하고 Motion Adapter를 사용해 이 지오메트릭 스캐폴드를 비디오로 변환하며, 시점 일관적인 외관, 조명, 비강체 역학을 합성한다.

학습 및 평가

이 방법을 지원하기 위해 저자들은 자동 파이프라인으로 강체 3D 장면을 주석 처리한 20,774개 클립을 담은 신규 데이터셋 RealCOD-Rigid를 구축했다. 또한 지정된 객체 움직임 준수와 객체 정체성 보존을 함께 평가하는 지표 **Identity-Gated IoU (IG-IoU)**를 도입했다.

실험 결과 4Director는 시각적 품질과 카메라 및 객체 제어 정확도 모두에서 기존 방법들을 일관되게 능가했다.