idol: 사진 한 장으로 100만 개 3D 가우시안 스플랫 생성

단일 이미지에서 최대 1,048,576개의 3D 가우시안 스플랫을 생성한다. 렌더링 이미지, 생성된 이미지, 실제 사진 모두 입력 가능하며 배경 제거와 객체 프레이밍을 자동으로 수행한다. 사진에 보이지 않았던 측면까지 포함해 표준 3DGS .ply 파일로 출력한다.

1 / 8

소비자용 GPU에서 7.2GB VRAM을 사용해 2초 이내에 처리가 가능하다. DiT, Octree decoder, Gaussian decoder 등 총 약 1.80B 파라미터를 활용하며, torch.compile과 cuDNN TF32 matmuls를 적용해 샘플링 속도를 약 1.7배 높였다. H100 기준 요청 시간은 6.8초, RTX 4090 기준 19.1초로 측정되었다.

TripoSplat, TRELLIS, LGM과의 벤치마크에서 입력 뷰의 PSNR, SSIM, IoU 지표와 7개 신규 뷰의 DINOv2, CLIP 점수에서 경쟁력을 보였다. 특히 신규 뷰의 DINOv2(0.781)와 CLIP(0.885) 점수가 높게 나타나, 입력 이미지와 다른 각도에서의 시각적 일관성이 우수함을 시사한다. LGM은 PSNR이 높지만 결과물이 흐릿하다는 한계가 지적되었다.

Python 3.10 이상과 PyTorch 2.5+, CUDA 지원 NVIDIA GPU 환경에서 동작한다. Hugging Face의 DINOv3와 FLUX.2-dev VAE 접근 권한이 필요하며, 초기 실행 시 약 3GB의 가중치가 자동 다운로드된다. Apache-2.0 라이선스로 공개되어 있으며, 3D 콘텐츠 생성 파이프라인에 단일 이미지 기반 3D 변환 단계를 추가하려는 개발자에게 적합하다.