Runway, 실시간 생성형 인터랙티브 월드 'GWM Worlds 2' 공개

Runway가 실시간 생성형 인터랙티브 월드 시뮬레이터 GWM Worlds 2를 공개했다. 이 모델은 오디오-비디오 생성 파운데이션 모델 위에 구축되어 720p 해상도, 24fps 비디오와 48,000 Hz 오디오를 실시간으로 생성하며, 긴 이동 시퀀스에서도 공간적 일관성을 유지한다.

WorldPrompt와 아키텍처

GWM Worlds 2는 환경을 '지속되는 상태(Persistent world context)'와 '시간에 따라 변하는 상태(Timestamped event stream)'로 분리하는 WorldPrompt 형식을 사용한다. Genesis prompt로 환경, 물리 법칙, 대상 속성을 정의하고, 타임스탬프가 포함된 액션 스트림으로 이동, 대화, 카메라 모션을 제어한다. 양방향(bidirectional) 모델을 자기회귀(autoregressive) 방식으로 후학습(post-train)하여 무한한 길이 제한 없이 실시간 생성이 가능하며, 슬라이딩 KV 캐시를 통해 디코딩 속도를 최적화한다.

인터랙션 방식과 활용

사용자는 텍스트 액션과 연속적인 카메라 모션을 통해 세계를 조종할 수 있으며, 키 바인딩을 통해 즉각적인 반응이 가능하다. 세 가지 사용 방식(Ahead of time, Turn-based, Real-time)을 지원하며, 특히 Real-time 모드에서는 낮은 지연 시간으로 텍스트 입력 없이도 키보드/마우스 입력을 미리 작성된 프롬프트에 매핑하여 즉시 반영한다. 이는 인터랙티브 엔터테인먼트, 가상 캐릭터, 로보틱스 시뮬레이션, 에이전트 훈련 등에 활용될 수 있다.

한계 및 전망

현재 GWM Worlds 2는 연구 프리뷰 단계로, 실시간 생성 속도를 위해 충실도(fidelity)를 일부 희생한다. 매우 빠른 카메라 회전 시 텍스처 저하가 발생할 수 있으며, 장기 기억은 불완전하다. Runway는 오프라인 비디오 생성 기술이 발전했던 것과 유사한 곡선으로 실시간 생성 기술이 고도화될 것으로 기대하고 있다.