LG AI Research 455

컴퓨터 비전 분야의 권위 있는 컨퍼런스인 CVPR 2024에서 2,719개의 논문이 채택되었으며, 그중 이미지 및 비디오 합성 분야가 가장 뜨거운 관심을 받았다. 특히 이번 컨퍼런스의 Best Paper 수상작인 **'Generative Image Dynamics'**는 단일 이미지로부터 자연스러운 움직임을 예측하여 비디오를 생성하는 기술을 다룬다.

이 연구는 나무, 꽃, 촛불과 같이 외부 힘에 의해 흔들리는 자연스러운 움직임을 구현하는 데 집중한다. 기존 연구들이 시간이 지남에 따라 영상의 일관성이 깨지는 문제를 겪었던 것과 달리, 이 모델은 **주파수 영역(Frequency Domain)**에서 분석을 수행하여 자연스럽게 반복되는 영상을 생성한다.

핵심 기술적 특징은 다음과 같다:

• Spectral Volume 예측: 확산 모델(Diffusion Model)을 사용하여 주파수 영역 내 각 픽셀의 움직임을 예측한다.
• Latent Diffusion Model 기반: VAE를 통해 이미지를 잠재 공간으로 매핑하고, RGB 이미지가 아닌 Spectral Volume에 데노이징(Denoising) 과정을 적용한다.
• 역 푸리에 변환(Inverse Fourier Transform): 예측된 주파수 영역의 움직임을 다시 타겟 이미지로 복원한다.
• 계층적 구조: 워핑(Warping) 과정에서 발생할 수 있는 빈 공간을 제거하기 위해 피라미드 형태의 계층 구조를 사용한다.

또한, 사용자가 이미지를 클릭하고 드래그하면 실제 물체를 만지는 것처럼 움직임이 발생하고 다시 원래 위치로 돌아오는 인터랙티브 데모를 통해 기술의 실용성을 입증했다.