Prism: 2K 해상도 영상·오디오 동시 생성, 학습 속도 2.5배

Prism은 2K 해상도에서 영상과 오디오를 동시에 생성하는 Joint Video-Audio Generation 모델이다. 기존 방식이 처리하기 어려웠던 고해상도 환경에서도 시각적 디테일과 움직임의 역동성을 유지하며 사운드까지 함께 합성한다.

핵심은 동적 Sparse Attention 기술이다. 토큰 시퀀스를 시공간 매크로 존으로 나누고, 영상 특징의 분산과 오디오-영상 상호작용 강도를 분석해 각 영역에 최적화된 블록 형태를 할당한다. 이를 통해 불필요한 연산을 줄이면서도 의미 있는 정보 전달을 극대화한다.

전체 Attention 방식 대비 학습 속도를 2.5배 높였으며, 생성 품질 역시 이를 능가한다. 720p부터 2K까지 다양한 해상도를 지원하며, Diffusers 라이브러리를 통해 이미지와 프롬프트만 입력하면 결과물을 얻을 수 있다.

Fudan University와 Tencent Hunyuan 연구진이 개발한 이 모델은 MIT 라이선스로 공개되었다. 고해상도 멀티모달 생성 작업이나 대규모 학습 파이프라인을 구축하려는 개발자에게 적합한 선택지다.