CLIP 공간에서의 소재 재구성과 블렌딩

MARBLE은 이미지의 예시 소재를 바탕으로 객체의 재질을 편집하는 방법이다. CLIP-space에서 소재 임베딩을 찾아 이를 프리트레인된 text-to-image 모델을 제어하는 방식으로, 소재 블렌딩과 재구성을 동시에 다룬다.

핵심은 디노이징 UNet 안에서 소재 속성에 책임이 있는 블록을 찾아, 예시 이미지의 재질 정보를 더 정확하게 반영하는 데 있다. 이렇게 얻은 표현을 이용하면 두 개의 소재 예시 이미지 사이의 방향을 CLIP-space에서 찾아 블렌딩할 수 있다.

또한 roughness, metallic, transparency, glow 같은 세부 재질 속성은 얕은 네트워크로 변화 방향을 예측해 파라메트릭 제어할 수 있다. 이를 통해 한 번의 forward pass에서 여러 편집을 동시에 수행할 수 있고, 페인팅 작업에도 적용 가능하다.

정성·정량 분석에서도 제안 방법의 효과를 보였으며, 예시 기반 소재 편집을 더 세밀하고 유연하게 만드는 방향을 제시한다.