LG AI Research 379

세계 최고 권위의 AI 학회인 NeurIPS 2023의 주요 연구 동향을 살펴본다. 이번 학회에서는 Computer Vision(CV), Large Language Model(LLM), Large Multimodal Model(LMM), Diffusion Model, Reinforcement Learning(RL) 등 다섯 가지 주제가 핵심으로 다뤄졌다.

Computer Vision(CV) 분야에서는 다양한 출력 유형을 처리하는 Vision Foundation Model로의 진화가 두드러졌다. 대표적인 연구로 Hummingbird는 Dense 출력 성능을 높이기 위해 Memory Bank를 활용한 Self Supervised Learning 방식을 제안했으며, SiamMAE는 Siamese Encoder를 통해 비디오 도메인에서도 효과적인 학습이 가능함을 입증했다.

Large Language Model(LLM) 분야에서는 기존 모델의 한계인 환각(Hallucination), 수학적 추론 능력 부족, 최신 정보 습득 능력 저하를 극복하기 위한 시도들이 이어졌다. 특히 Toolformer는 외부 Tool API를 스스로 사용하여 모델의 능력을 확장하는 방식을 선보이며 주목을 받았다.