Diffusers, 오픈 비디오 모델 현황

OpenAI의 Sora 이후 비디오 생성 모델 시장은 급격히 성장하고 있으며, Google의 Veo 2, Runway의 Gen 3 Alpha와 같은 폐쇄형 모델과 CogVideoX, Mochi-1, Hunyuan Video와 같은 오픈 소스 모델이 치열하게 경쟁 중이다.

현재 비디오 생성 모델은 다음과 같은 주요 한계점을 가진다:

• 높은 리소스 요구량: 대규모 데이터셋과 하드웨어 비용으로 인해 오픈 소스 모델 개발이 어렵다.
• 일반화 능력 부족: 특정 프롬프트 방식에 의존하거나 학습 데이터 범위를 벗어난 데이터에 취약하다.
• 지연 시간(Latency): 높은 계산 및 메모리 요구량으로 인해 로컬 환경에서의 사용이 제한적이다.

비디오 생성은 이미지 생성과 달리 모션 역학(Motion Dynamics), 시공간적 일관성(Spatio-Temporal Consistency), 입력 조건 준수 등 고려해야 할 요소가 훨씬 많아 기술적 난도가 높다.

Diffusers 팀은 이러한 모델들의 확산을 위해 추론 최적화 및 파인튜닝(Fine-tuning) 지원을 강화할 계획이다.