JoyAI, 실시간 영상 편집 공개

JoyAI-Video-Edit는 영상 전체를 미리 받아 처리하지 않고, 프레임이 도착하는 즉시 자연어 지시에 따라 편집하는 실시간 영상 편집 모델이다. 라이브 카메라처럼 길이가 정해지지 않은 스트림에서도 미래 프레임을 참조하지 않고 인과적으로 동작한다.

시스템은 다음 요소로 구성된다.

• MLLM 기반 조건 인코더
• 인과적 비디오 VAE
• 160억 파라미터 MM-DiT
• 청크 단위 자기회귀 적응
• 소스 고정 분포 매칭 증류(SA-DMD)
• 장기 구간 자기회귀 증류(LHAD)

배포 단계에서는 경계가 정해진 KV 캐시, FP8 양자화, 최적화된 VAE 경로를 적용했다. 공개된 배포 벤치마크에서 720×1280 해상도 기준 전체 파이프라인 30.19 FPS를 기록했으며, OpenVE-Bench 비교에서는 37.21 FPS·편집 품질 3.60으로 스트리밍 편집 모델 중 높은 품질을 보였다고 보고했다.

코드, 기술 보고서, 체크포인트, 온라인 데모와 실시간 편집 라이브 데모가 함께 공개됐다. 오프라인 편집 모델보다 최고 품질이 우수하다는 의미보다는, 실시간 처리 제약에서 품질과 속도의 균형을 확보한 점이 핵심이다.