걷는 3D세계

Lyra 2.0은 사용자가 지정한 카메라 궤적에 맞춰 walkthrough video를 생성하고, 이를 feed-forward reconstruction으로 3D로 끌어올리는 프레임워크다.

긴 궤적과 큰 시점 변화에서 흔한 두 가지 문제인 spatial forgetting과 temporal drifting을 직접 다룬다.

• spatial forgetting에는 프레임별 3D geometry를 저장해 정보 라우팅에만 활용하고, 관련 과거 프레임을 찾아 현재 시점과 dense correspondence를 만든다.
• temporal drifting에는 모델이 스스로 망가진 출력을 보게 하는 self-augmented training을 써서, 드리프트를 누적하지 말고 교정하도록 학습한다.

이 방식으로 더 길고 3D-consistent한 비디오 트래젝터리를 만들고, 그 결과를 이용해 고품질 3D 장면 복원 모델을 미세조정한다.

또한 인터랙티브 GUI로 누적된 포인트 클라우드를 보면서 카메라 경로를 계획할 수 있고, 생성된 결과는 3DGS와 mesh로 내보내 NVIDIA Isaac Sim 같은 물리 시뮬레이터에 연결할 수 있다. 즉, 단순한 영상 생성이 아니라 탐색 가능한 시뮬레이션용 3D 환경 생성을 목표로 한다.