멀티뷰 캡처 기반 대규모 고품질 3D Gaussian 두상 재구성

HeadsUp는 대규모 멀티카메라 입력에서 고품질 3D Gaussian 두상을 한 번에 복원하는 feed-forward 방식이다.

효율적인 encoder-decoder가 여러 뷰를 압축해 하나의 잠재 표현으로 만든 뒤, 이를 UV-parameterized 3D Gaussians로 디코딩한다. 이 Gaussians는 중립 두상 템플릿에 앵커링되어 있어, 입력 뷰 수와 해상도에 덜 묶인 구조를 만든다.

핵심 효과는 다음과 같다.

• 내부 데이터셋 10,000명 이상을 사용해 기존 멀티뷰 인간 두상 데이터셋보다 한 자릿수 이상 큰 규모를 확보했다.
• 추가 test-time optimization 없이도 새로운 인물에 일반화하며 최고 수준의 복원 품질을 달성했다.
• 아이덴티티 수, 뷰 수, 모델 용량을 바꿔가며 스케일링 특성을 분석해 품질-연산량 트레이드오프를 정리했다.

잠재공간은 새로운 3D 아이덴티티 생성과 표정 blendshapes 기반 애니메이션에도 활용됐다.