SPAR3D: 단일 이미지 기반의 안정적인 포인트 인식 3D 객체 재구성

단일 이미지 기반 3D 객체 재구성 기술은 크게 두 가지 방향으로 발전해 왔다. 회귀(Regression) 기반 모델은 가시적인 표면을 효율적으로 추론하지만 가려진 영역 처리에 취약하며, 생성형(Generative) 모델은 불확실한 영역을 잘 다루지만 연산 비용이 높고 가시적 표면과 정렬이 어긋나는 문제가 있다.

SPAR3D는 이 두 방식의 장점을 결합한 새로운 2단계 접근 방식을 제안한다.

• 1단계: 경량화된 포인트 디퓨전(Point Diffusion) 모델을 사용하여 빠른 속도로 희소(sparse) 3D 포인트 클라우드를 생성한다.
• 2단계: 생성된 포인트 클라우드와 입력 이미지를 함께 활용하여 매우 정밀한 **메쉬(Mesh)**를 구축한다.

이러한 설계 덕분에 SPAR3D는 확률적 모델링을 통해 불확실성을 해결하면서도 높은 연산 효율과 결과물의 품질을 동시에 유지한다. 또한, 중간 표현 방식으로 포인트 클라우드를 사용하여 사용자가 대화형으로 편집할 수 있는 기능도 제공한다.

다양한 데이터셋 평가 결과, SPAR3D는 기존 최신 기술(SOTA)보다 뛰어난 성능을 보였으며, 추론 속도는 단 0.7초에 불과하다.