JD 오픈소스, JoyAI-Echo 공개: 5분 길이 영상 생성 및 옴니모달 월드 모델 지원

JD 오픈소스(JD Open Source)는 JoyAI-Echo라는 오픈소스 프로젝트를 공개했다. 이 저장소는 두 가지 독립적인 프로젝트를 포함하며, 각각 고유한 환경과 체크포인트를 갖추고 있다.

Echo-LongVideo는 장시간(multi-shot) 오디오-비주얼 생성에 초점을 맞춘다. 최대 약 5분 길이의 영상을 생성할 수 있으며, 샷 간 연속성을 유지하기 위해 페어링된 오디오-비디오 메모리 뱅크를 활용한다.

Echo-WM은 생성형 미디어를 위한 옴니모달 월드 모델이다. 사용자가 연속적으로 내비게이션하는 동안 비디오, 환경음, 음악, 음성 등이 함께 진화하도록 반응하는 것이 특징이다.

해당 프로젝트는 Hugging Face에서 모델 가중치를 제공하며, ComfyUI 플러그인도 지원한다. 관련 논문과 프로젝트 페이지도 함께 공개되어 있다.