LG AI Research 211
DALL-E의 등장부터 VQ-VAE 기반 모델을 거쳐 LG AI 연구원의 L-Verse까지, Vision-Language 모델의 발전 과정을 살펴본다.
2020년 GPT-3 등장 이후 NLP 분야의 핵심은 대규모 모델 학습(Large Scale Model Training)이 되었습니다. OpenAI는 2020년 1월, 1,200억 개의 파라미터를 가진 DALL-E를 공개하며 텍스트로부터 이미지를 생성하는 Zero-shot text-to-image generation 시대를 열었습니다.
DALL-E는 CLIP을 활용해 이미지와 텍스트 간의 유사도를 분석하며, VQ-VAE를 통해 이미지를 텍스트와 같은 형태의 토큰으로 변환하여 Transformer 구조에서 학습합니다. 이는 이미지 데이터를 효율적으로 압축하고 복원하는 과정을 포함합니다.
이후 연구는 더 적은 데이터와 파라미터로 높은 성능을 내는 방향으로 발전했습니다. 특히 LG AI 연구원이 발표한 L-Verse는 DALL-E 대비 훨씬 적은 자원을 사용하면서도 text-to-image와 image-to-text를 모두 수행할 수 있는 뛰어난 성능을 입증했습니다.
최근에는 기존 VQ-VAE 방식의 정보 손실 문제를 해결하기 위해, DDPM과 CLIP을 결합한 새로운 형태의 Large Vision-Language Model (LVLM) 연구로 패러다임이 전환되고 있습니다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.