Stable Virtual Camera: 3D 카메라 제어를 활용한 다중 뷰 비디오 생성

Stable Virtual Camera는 입력된 다수의 뷰와 타겟 카메라 정보를 바탕으로 새로운 장면을 생성하는 범용 확산 모델이다. 기존 방식들이 큰 시점 변화나 시간적 연속성 유지에 어려움을 겪었던 것과 달리, 이 모델은 단순한 모델 설계와 최적화된 학습 레시피, 유연한 샘플링 전략을 통해 이를 극복했다.

주요 특징은 다음과 같다:

• 별도의 3D 표현 기반 증류(distillation) 없이도 높은 일관성 유지
• 최대 30초 길이의 고품질 비디오 생성 가능
• 끊김 없는 루프 폐쇄(loop closure) 지원

광범위한 벤치마크 결과, Stable Virtual Camera는 다양한 데이터셋과 설정에서 기존 방법론들을 뛰어넘는 성능을 입증했다.