SANA-WM, 1분 720p 비디오용 26억 파라미터 오픈소스 월드 모델

NVIDIA가 SANA-WM을 공개했다. 단일 이미지와 6-DoF 카메라 궤적을 입력받아 단일 GPU에서 720p, 1분 길이의 제어 가능한 비디오를 생성하는 2.6B 파라미터 월드 모델(World Model)이다. 페이지에는 Paper, Code, Models soon 링크가 제공된다.

핵심 구조는 Hybrid Linear Diffusion Transformer다.

• 프레임 단위 Gated DeltaNet과 주기적 softmax를 결합해 긴 롤아웃의 일관성을 유지한다.
• 거친 전역 포즈 브랜치와 세밀한 픽셀 정렬 기하 브랜치로 카메라 경로 추종을 높인다.
• all-softmax 변형은 60초 생성에서 OOM이 발생했다고 설명한다.

학습에는 약 21.3만 개의 공개 영상과 미터 단위 6-DoF 포즈 감독을 사용했다.

• 전체 학습은 64개 H100에서 15일 걸렸다.
• 추론은 단일 H100으로 가능하다.

품질 향상용으로는 17B long-video refiner가 붙는다.

• 1단계 결과의 질감, 움직임, 후반 구간 품질을 다듬는다.
• 증류 변형은 RTX 5090 1장에서 NVFP4로 60초 720p 클립을 34초에 디노이즈한다.

벤치마크에서는 기존 오픈소스 기준선보다 action-follow accuracy가 높았고, 비슷한 시각 품질에서 36배 높은 처리량을 기록했다고 밝혔다.