LG AI Research 211

2020년 GPT-3 등장 이후 NLP 분야의 핵심은 대규모 모델 학습(Large Scale Model Training)이 되었습니다. OpenAI는 2020년 1월, 1,200억 개의 파라미터를 가진 DALL-E를 공개하며 텍스트로부터 이미지를 생성하는 Zero-shot text-to-image generation 시대를 열었습니다.

DALL-E는 CLIP을 활용해 이미지와 텍스트 간의 유사도를 분석하며, VQ-VAE를 통해 이미지를 텍스트와 같은 형태의 토큰으로 변환하여 Transformer 구조에서 학습합니다. 이는 이미지 데이터를 효율적으로 압축하고 복원하는 과정을 포함합니다.

이후 연구는 더 적은 데이터와 파라미터로 높은 성능을 내는 방향으로 발전했습니다. 특히 LG AI 연구원이 발표한 L-Verse는 DALL-E 대비 훨씬 적은 자원을 사용하면서도 text-to-image와 image-to-text를 모두 수행할 수 있는 뛰어난 성능을 입증했습니다.

최근에는 기존 VQ-VAE 방식의 정보 손실 문제를 해결하기 위해, DDPM과 CLIP을 결합한 새로운 형태의 Large Vision-Language Model (LVLM) 연구로 패러다임이 전환되고 있습니다.