단일 이미지에서 애니메이션 가능한 3D 얼굴 아바타 생성

FaceCraft4D는 단일 이미지 하나에서 고품질의 애니메이션 가능한 4D avatar를 만드는 프레임워크다. 기존 방식이 다수의 multiview 데이터에 의존하거나, 형태 정확도와 identity consistency에서 흔들렸던 한계를 겨냥한다.

파이프라인은 세 가지 prior를 결합한다. 먼저 3D-GAN inversion으로 초기 coarse shape를 얻고, 이후 depth-guided warping 신호를 활용해 image diffusion model이 multiview texture를 보강하면서 시점 간 일관성을 높인다.

표정 애니메이션 단계에서는 video prior와 viewpoint별로 동기화된 driving signal을 사용해 여러 시점에서 같은 움직임이 유지되도록 만든다. 여기에 Consistent-Inconsistent training을 도입해 4D reconstruction 과정에서 생기는 데이터 불일치를 효과적으로 다루며, 실험에서는 기존 방법보다 더 나은 품질과 시점·표정 일관성을 보여준다.