Apple Research, 실시간 3D 헤드 애니메이션 기술 GHARP 공개

• GHARP는 소수의 입력 이미지와 구동 표정 신호를 기반으로 3D 인간 머리를 실시간으로 애니메이션화하는 방법임
• 신원 재구성과 애니메이션을 분리하여 모바일 기기에 최적화된 경량 네트워크가 런타임에 구동되도록 설계함
• Ava-256 벤치마크에서 최상위(SOTA) 품질을 달성하고, A100 GPU에서 최대 13배 빠른 속도로 8배 적은 가우시안(Gaussians)을 사용함
• 신체 정렬 네트워크를 도입하여 신체 자세와 의복의 모호성을 해결하고, 블러와 시간적 플리커를 감소시킴

Methodology

• 신원 단계는 대규모 재구성 선행 지식을 사용하여 오프라인에서 대상의 기하학과 외관을 구축함
• 애니메이션 단계는 의미론적으로 구조화된 잠재 공간에서 표정 의존 잔차를 예측함
• 다중 입력 뷰의 융합을 통해 컴팩트하고 고정된 크기의 정규 가우시안 표현을 생성함

Limitations and Solutions

• 표정 코드가 신체 자세와 의복을 생략하여 입력에서 정의되지 않은 영역을 발생시킴
• 표준 표정 구동 방식은 역문제(ill-posed) 매핑으로 인해 블러와 플리커를 유발함
• 신체 정렬 네트워크가 대상 신체를 참조 이미지와 정렬하여 학습 신호의 모호성을 제거함