NVIDIA, 단안 영상 기반 4D 상호작용 복원 기술 공개

NVIDIA와 튀빙겐 대학교 연구진이 개발한 CARI4D는 단일(monocular) RGB 영상에서 사람과 사물의 **4D 상호작용(3D 형상 및 자세의 시간적 변화)**을 실제 크기(metric scale)로 복원하는 기술입니다.

기존 연구들이 특정 사물 템플릿이나 정해진 카테고리에 의존했던 것과 달리, CARI4D는 **카테고리 독립적(category-agnostic)**인 접근 방식을 취합니다. 이는 다양한 종류의 사물을 다루는 제로샷(zero-shot) 성능을 가능하게 합니다.

핵심 메커니즘은 다음과 같습니다:

• 파운데이션 모델 조합: 형상, 자세, 장면 이해 분야의 기존 파운데이션 모델들의 예측값을 활용합니다.
• 공간 정렬(Alignment): 서로 다른 좌표계에 있는 모델들의 예측치를 동일한 실제 크기 공간으로 정렬하여 견고한 초기값을 얻습니다.
• 상호작용 최적화: 정렬된 초기값을 바탕으로 사물과의 세밀한 접촉(contact) 및 동역학을 추론하여 자세를 정밀하게 다듬습니다.

이 기술은 별도의 특수 장비 없이 스마트폰 영상만으로도 타이어, 시멘트 포대, 스키 장비 등 임의의 사물과 사람 간의 복잡한 움직임을 정밀하게 재구성할 수 있어 로보틱스, VR/AR 분야에서의 활용도가 높습니다.