sam-3d-body-dinov3: 사진 한 장으로 온몸 3D 메시 복원

단일 이미지에서 사람의 온몸 3D 메시를 추정하는 모델이다. 몸통은 물론 발과 손가락까지 포괄적으로 자세를 파악하며, 가림(occlusion)이나 어려운 자세,刁난 시점에서도 일관된 정확도를 보인다. Meta Superintelligence Labs가 개발한 SAM 3D Body(3DB)는 야생 환경(in-the-wild) 조건에서 강력한 일반화 성능을 갖춘 것이 특징이다.

기존 방식과 달리 골격 구조와 표면 형태를 분리하는 새로운 파라메트릭 메시 표현인 Momentum Human Rig(MHR)를 사용한다. 이를 통해 정확도와 해석 가능성이 높아진다. 인코더-디코더 아키텍처를 기반으로 하며, 2D 키포인트나 마스크 같은 보조 프롬프트를 입력받아 사용자가 추론 과정을 직접 제어할 수 있다.

출력은 카메라 좌표계상의 3D 메시 정점, 3D 및 2D 자세 키포인트, 카메라 이동 파라미터, 초점 거리 등을 포함한다. 또한 몸통, 손, 체형에 대한 자세 파라미터도 함께 반환되어 후속 처리에 활용하기 쉽다. 다단계 어노테이션 파이프라인을 통해 수집된 대규모 고품질 데이터로 학습되어 다양한 자세와 시점을 커버한다.

3D 인간 자세 추정, 모션 캡처 대체, 또는 증강현실(AR) 콘텐츠 제작 등 정밀한 3D 인체 모델링이 필요한 개발자에게 적합하다. SAM 계열 모델과 유사한 프롬프트 기반 인터페이스를 제공하므로 기존 워크플로우에 쉽게 통합할 수 있다. 모델 접근을 위해 Meta 개인정보 처리 방침에 동의해야 하며, SAM License 하에 배포된다.