SANA-WM, 1분짜리 720p 비디오를 위한 2.6B open-source world model

SANA-WM은 NVIDIA가 공개한 2.6B open-source world model로, Hybrid Linear Diffusion Transformer 기반 구조를 통해 한 장의 이미지와 camera trajectory만으로 60초·720p controllable video를 생성한다.

핵심 구조는 다음 네 가지다.

• Hybrid Linear Attention: frame-wise Gated DeltaNet과 periodic softmax를 결합해 긴 문맥을 유지한다.
• Dual-Branch Camera Control: coarse global pose branch와 fine pixel-aligned geometric branch로 6-DoF 경로를 높은 정밀도로 추종한다.
• Two-Stage Generation Pipeline: 1단계 롤아웃 뒤 17B long-video refiner가 질감, motion, 후반부 일관성을 보강한다.
• Robust Annotation Pipeline: 공개 비디오에서 metric-scale 6-DoF pose를 추출해 정합성 높은 액션 라벨을 만든다.

학습에는 약 213K개의 공개 비디오 클립이 사용됐고, 64 H100에서 15일 만에 학습을 마쳤다. 원본 모델은 단일 H100에서 60초 720p 클립을 생성하며, distilled variant는 RTX 5090에서 NVFP4 quantization으로 같은 길이의 클립을 34초에 디노이즈한다.

자체 one-minute world-model benchmark에서는 기존 open-source baseline보다 action-following 정확도가 높고, 시각 품질은 LingBot-World와 HY-WorldPlay급으로 유지하면서 처리량은 36배 높다고 제시한다.