더욱 제어 가능한 AI 비디오 편집을 향하여: Netflix의 초기 연구 탐색

기존의 생성형 비디오 편집 모델은 특정 요소를 수정할 때 영상 전체를 재생성하여 인물의 정체성이나 배경 등 유지되어야 할 디테일까지 변형시키는 문제가 있었다. 또한, 객체를 제거할 때 물리적 연속성을 무시하여 움직임이 부자연스러워지는 현상도 빈번했다.

Netflix는 이러한 문제를 해결하기 위해 두 가지 혁신적인 연구 모델을 선보였다.

• Vera: 레이어형 비디오 확산 모델(Layered Video Diffusion Model)로, 수정이 필요한 부분만 별도의 레이어로 생성하고 나머지 영상은 원본 그대로 유지하여 콘텐츠의 정체성을 보존한다.
• VOID: 비디오 객체 및 상호작용 삭제를 위한 인페인팅(Inpainting) 모델로, 단순히 객체를 지우는 것을 넘어 해당 객체가 없었던 것처럼 주변 환경을 물리적으로 타당하게 재구성한다.

Netflix는 아티스트가 창의적 의도를 정밀하게 제어할 수 있도록 돕는 것을 목표로 하며, 이번 연구 결과와 알고리즘 상세 내용을 담은 논문을 공개하여 학계의 발전을 도모하고자 한다.