실시간 인터랙티브 비디오 모델 Waypoint-1

Waypoint-1은 텍스트, 마우스, 키보드 입력을 통해 실시간으로 상호작용할 수 있는 **비디오 확산 모델(Video Diffusion Model)**이다. 사용자가 입력한 제어 신호를 컨텍스트로 활용하여 지연 시간 없이 프레임을 생성한다.

주요 기술적 특징:

• 모델 구조: 10,000시간의 게임 영상 데이터를 기반으로 학습된 프레임 인과적 rectified flow transformer를 사용한다.
• 학습 기법: Diffusion forcing으로 미래 프레임을 예측하는 법을 배우고, **Self-forcing(via DMD)**을 통해 추론 시 발생하는 오차 누적 문제를 해결했다.
• WorldEngine: 저지연 및 고처리량에 최적화된 고성능 추론 라이브러리다.

성능 및 최적화: Waypoint-1-Small (2.3B) 모델을 RTX 5090에서 구동할 경우, 4단계 디노이징 시 30 FPS, 2단계 시 60 FPS의 속도를 구현한다. 성능 향상을 위해 AdaLN 기능 캐싱, Static Rolling KV Cache, Matmul fusion, Torch Compile 등의 최적화 기술이 적용되었다.