진짜 3D 월드 모델

Tencent가 HY-World 2.0을 공개했다. 핵심은 영상을 흉내 내는 방식이 아니라 3D Gaussian Splats, meshes, point clouds 같은 실제 3D 자산을 생성한다는 점이다.

모델은 한 번 만든 세계를 계속 유지하고 편집할 수 있는 persistent world를 지향하며, Unity, Unreal Engine, Blender, Isaac Sim으로 바로 가져갈 수 있다고 설명한다.

또한 physics, collision, first-person navigation, real-time rendering을 consumer GPU에서 지원한다고 내세운다. 기존의 비디오 중심 모델인 Genie 3, HY-World 1.5와 달리, 시간 제한이나 깜빡임 없이 true 3D consistency를 제공한다는 주장도 포함됐다.

핵심 구성은 WorldMirror 2.0으로, 하나의 feed-forward 모델이 depth, normals, camera params, point clouds, 3DGS를 한 번에 예측한다.

입력 모달리티는 다음을 지원한다.

• text → 3D world
• image → 3D world
• multi-view → 3D world
• video → 3D world

공개 링크는 Hugging Face와 GitHub로 올라와 있다.