LG AI 연구원 GTC 2022 리뷰: Personalized Image/Language Model 및 Instant NeRF

NVIDIA GTC 2022 세션에서 다뤄진 최신 AI 기술 트렌드를 리뷰한다. 주요 주제는 사용자의 니즈를 정교하게 반영하는 Personalized Image/Language Model과 3D 복원 성능을 극대화한 Instant NeRF이다.

Personalized Image/Language Model은 기존 모델이 일반적인 이미지를 생성하는 한계를 넘어, 사용자가 제공한 특정 컨셉(예: 특정 고양이 사진)을 반영할 수 있다. 이를 위해 Images-to-word Mapper를 제안하며, 이 네트워크는 컨셉 이미지를 text embedding space로 매핑하여 특정 토큰 임베딩을 대체함으로써 사용자가 원하는 정교한 이미지를 생성하거나 검색할 수 있게 한다.

Instant NeRF는 기존 **NeRF(Neural Radiance Fields)**의 고질적인 문제였던 느린 최적화 시간과 런타임 성능을 획기적으로 개선했다. 기존 NeRF는 3D 좌표와 방향을 입력받아 MLP를 통해 RGB 및 밀도를 표현하지만, 렌더링에 막대한 연산이 소요되는 한계가 있었다. NVIDIA는 이를 극복하여 수 초 내에 학습이 가능한 기술을 선보이며 주목받았다.