Luce: 3D 에셋 생성을 위한 재조명 가능한 가우시안

고해상도 이미지에서 3D 에셋을 생성하려면 기하학적 구조와 외관을 모두 포착하는 표현 방식이 필수적이다. 재조명(relighting) 및 표준 렌더링 파이프라인 통합을 위해 알베도, 금속-조도, 표면 법선과 같은 물리 기반 렌더링(PBR) 모달리티를 포함해야 한다.

Luce는 이러한 요구를 충족하기 위해 기하학과 PBR 재료를 보셀라이즈드 멀티모달 가우시안 클라우드 내에서 통합하는 3D 표현 방식을 제안한다. 각 모달리티에 전용 가우시안 원시(primitives)를 사용하며, 변분 오토인코더(VAE)를 통해 이 표현을 재료 인식 잠재 공간으로 압축한다.

Rectified-flow 트랜스포머는 사전 학습된 이미지 인코더의 멀티레이어 특징을 조건으로 삼아 단일 이미지로부터 해당 잠재 변수를 생성한다. 이 잠재 변수는 재조명 가능한 PBR 가우시안과 접선 공간 법선 맵이 포함된 텍스처 메시로 디코딩된다.

주요 성과는 다음과 같다.

• Toys4K 데이터셋에서 단일 이미지 기반 3D 생성 성능을 최상위 수준으로 끌어올려, 가장 강력한 베이스라인 대비 FID를 28% 개선했다.
• AI 생성 이미지 벤치마크에서 CLIP 이미지 정렬 점수를 0.8519로 기록하며 기존 최고 기록(0.8299)을 경신했다.

Luce는 텍스트, 로고, 각인 등 세부 디테일을 보존하면서도 기하학적으로 정확하고 재료적으로 충실한 재조명 가능 에셋을 생성할 수 있다.