[CVPR 2022] NeRF - 시점 합성(View Synthesis)을 위한 신경 방사 휘도장 표현

NeRF는 다각도에서 촬영한 이미지를 이용해 보지 못한 시점의 모습을 생성하는 View Synthesis 테스크를 혁신적으로 해결한 방법론입니다. 5D 표현식(x, y, z, θ, ϕ)을 입력받아 해당 위치의 RGB 값과 **Volume Density(밀도/불투명도)**를 생성하는 단순한 MLP 구조를 통해 기존 방식보다 뛰어난 성능을 구현했습니다.

CVPR 2022에서 발표된 NeRF 관련 연구는 크게 네 가지 카테고리로 분류됩니다.

• Single Image 기반 NeRF: 다수의 뷰가 아닌 단 하나의 이미지와 추정된 카메라 포즈만으로 새로운 뷰를 생성하는 기술(LoLNeRF, Pix2NeRF 등)이 등장했습니다.
• NeRF의 한계 극복: 느린 최적화 속도와 노이즈 문제를 해결하기 위해 Point Cloud를 결합하거나, Regularization을 통해 배경의 블러 현상을 개선하고, 복잡한 반사(Reflection)를 다루는 연구들이 발표되었습니다.
• 확장성(Scalability) 및 기하학적 일관성: 도시 단위의 거대 장면을 구(Block) 단위로 나누어 학습하는 Block-NeRF와 같이 대규모 씬을 재구성하는 기술이 주목받았습니다.
• 비정형 데이터 대응: 인간의 포즈와 같은 비정형(Non-rigid) 변화를 처리하거나, 유리 및 거울의 복잡한 반사를 구현하는 연구가 지속되고 있습니다.