LG AI Research 227

CVPR 2022에서 핵심 화두로 떠오른 Multimodal Representation Learning은 이미지, 텍스트, 소리 등 다양한 데이터를 결합해 복잡한 문제를 해결하는 기술이다. 대표적인 연구인 MERLOT Reserve는 하나의 Transformer 모델을 통해 영상 속 이미지, 자막, 소리를 동시에 학습함으로써 기존 모델 대비 뛰어난 성능을 달성했다.

또한, 3D View Synthesis 분야의 혁신인 NeRF(Neural Radiance Field) 기술도 큰 주목을 받았다. 기존 NeRF가 추론 단계에서 다수의 시점 이미지를 필요로 했던 한계를 극복하기 위해, Pix2NeRF는 GAN을 활용해 단 한 장의 이미지로부터 다양한 시점의 이미지를 생성하는 Single-shot NeRF를 구현했다.

이러한 기술들은 향후 AI Human, VR, AR 등 다양한 산업 영역에서 핵심적인 역할을 할 것으로 기대된다.