Noiz AI와 HKUST, 단일 H800 GPU에서 24fps 동작하는 실시간 오디오-비주얼 모델 Helix World 공개

Noiz AI와 HKUST가 실시간 인터랙티브 오디오-비주얼 월드 모델 Helix World를 공개했다. 이 모델은 사용자가 탐색 가능한 장면과 공간 스테레오 사운드를 동시에 생성한다. 대부분의 침묵형 월드 모델과 달리 Helix World는 카메라 움직임에 따라 오디오 생성을 조건화하여, 사운드 필드가 사용자의 시점에 맞춰 회전하도록 보장한다. 단일 NVIDIA H800 GPU에서 24 fps로 실행되며 실시간 팩터는 0.77이다. 사용자는 WASD 및 방향키로 환경을 탐색할 수 있다.

벤치마크 성능

WBench 내비게이션 분할에서 Helix World는 79.9점을 기록해, 실시간보다 빠른 모델 중 가장 높은 점수를 받았다. 또한 인터랙티브 오디오-비주얼 모델을 위한 새로운 벤치마크 HelixBench를 도입했으며, 여기에는 1,015개의 인간 검증 사례가 포함된다. HelixBench에서 Helix World는 공간-음향 일관성 점수 41.8을 달성해, 기준 모델인 EchoWM의 12.7을 크게 앞섰다. 오디오가 활성화된 사용자 선호도 연구에서 참가자의 **67.9%**가 EchoWM(20.8%)보다 Helix World를 선호했다.

아키텍처 및 학습

Helix World는 오픈소스 오디오-비주얼 모델 LTX-2.3을 기반으로 한다. PRoPE를 통해 연속적인 6-DoF 카메라 궤적을, AdaLN-Zero를 통해 이산적인 키보드 액션을 통합한다. 학습 과정에서는 양방향 교사 모델을 몇 단계의 인과적 학생 모델로 증류하여, 드리프트 없이 스트리밍이 가능하도록 한다. 연구팀은 초기 4,100시간의 데이터 풀에서 실제 스테레오 오디오와 미터 단위 카메라 포즈가 포함된 3,000시간의 비디오 데이터셋을 선별했다.

공개 현황 및 한계

현재 이 모델은 GitHub에 코드와 Hugging Face에 가중치가 공개된 프리뷰 릴리스 상태다. 인터랙티브 데모는 helixworld.org에서 확인할 수 있다. 한계로는 768×512의 출력 해상도와 실시간 성능을 위한 데이터센터 GPU 의존성이 있다. 오디오-비주얼 정렬에는 강점을 보이지만, 순수 시각 품질 점수에서는 최고의 침묵형 모델보다 약간 뒤처진다.