Nvidia의 새로운 롱폼 비디오 생성 기술

Nvidia는 단일 GPU에서 고품질 720p 비디오를 생성할 수 있는 하이브리드 비디오 확산 트랜스포머인 SANA-Video 2.0을 도입했다. 이 모델은 5B 및 14B 스케일로 구현되었으며, 선형 어텐션(Linear Attention)의 효율성과 풀 소프트맥스(Full-softmax) 어텐션의 품질을 동시에 확보했다.

핵심 기술인 Hybrid Linear-Softmax Attention은 게이트형 선형 어텐션과 주기적인 게이트형 소프트맥스 앵커를 3:1 비율로 결합하여, 선형 어텐션의 한계인 토큰 간 상호작용 부족 문제를 해결하고 연산 복잡도를 낮췄다. 또한 **Block Attention Residuals (AttnRes)**를 통해 앵커 피처를 재사용함으로써 심층 레이어의 유효 랭크(Effective Rank)를 약 12% 높였다.

성능 측면에서의 주요 특징은 다음과 같다:

• 압도적인 속도: 720p/60s 기준, 기존 풀 소프트맥스 베이스라인보다 3.2배 빠른 DiT 포워드 패스를 구현했다.
• 하드웨어 최적화: Sol-Engine 최적화를 통해 하드웨어 친화적인 백본을 구축, 5B 파이프라인 기준 720p/5s 영상을 13.06초 만에 생성하며 Wan 2.2-A14B 대비 120배 빠른 속도를 기록했다.
• 높은 품질: 480p 기준 VBench 점수 84.30을 달성하며, 훨씬 더 큰 규모의 모델들과 경쟁할 수 있는 효율성을 입증했다.