NVIDIA의 Lyra 2: 탐색 가능한 생성형 3D 세계

Lyra 2.0은 카메라가 제어되는 video generation을 이용해 씬을 먼저 walkthrough 형태로 만들고, 이를 feed-forward reconstruction으로 3D로 끌어올리는 방식이다. 목표는 단순한 장면 생성이 아니라, 실시간 렌더링과 시뮬레이션이 가능한 explorable 3D worlds를 대규모로 만드는 데 있다.

긴 카메라 궤적과 큰 시점 변화, 그리고 이미 지나간 위치를 다시 방문하는 상황에서는 기존 video model이 빠르게 무너진다. 논문은 이 문제를 두 가지로 정의한다.

• spatial forgetting: 이전에 본 영역이 temporal context 밖으로 밀려나면, 다시 방문했을 때 구조를 새로 hallucinate하게 됨
• temporal drifting: autoregressive generation이 작은 오류를 누적하면서 장면의 외형과 기하가 점점 틀어짐

이를 해결하기 위해 Lyra 2.0은 per-frame 3D geometry를 유지하되, 그것을 직접 생성의 근거로 쓰지 않고 information routing에만 사용한다. 즉, 관련 있는 과거 프레임을 다시 찾고, 목표 시점과의 dense correspondences를 만들 때만 3D 정보를 활용하고, 실제 appearance synthesis는 generative prior에 맡긴다.

또한 self-augmented histories로 학습해 모델이 자기 자신의 degraded output을 보도록 만든다. 이렇게 하면 오류를 계속 전파하는 대신, 드리프트를 수정하도록 학습하게 된다.

이 두 가지 전략을 결합해 훨씬 더 긴 trajectory에서도 3D 일관성을 유지하고, 그 결과를 바탕으로 feed-forward reconstruction models를 fine-tune해 더 높은 품질의 3D scene을 안정적으로 복원한다.