VLM 작동 원리와 주요 모델

이미지와 텍스트를 동시에 학습하여 시각적 질의응답(VQA), 이미지 캡셔닝, 문서 이해 등 다양한 태스크를 수행하는 **Vision Language Model(VLM)**의 핵심 개념과 생태계를 정리한 가이드입니다.

주요 특징 및 기능

• 멀티모달 학습: 이미지와 텍스트 입력을 통해 텍스트 출력을 생성하는 생성형 모델입니다.
• 범용성: 제로샷(zero-shot) 능력이 뛰어나며 문서, 웹페이지 등 다양한 시각 자료를 처리할 수 있습니다.
• 공간 이해: 객체 탐지(detection)를 위한 바운딩 박스(bounding box) 출력이나 세그멘테이션 마스크 생성이 가능합니다.

오픈소스 모델 및 평가 도구

• 주요 모델: LLaVA 1.6, DeepSeek-VL, CogVLM, Qwen-VL 등 다양한 파라미터 규모와 라이선스를 가진 모델들이 Hugging Face Hub를 통해 제공됩니다.
• 모델 선택: 인간의 선호도를 기반으로 한 Vision Arena와 다양한 벤치마크 지표를 제공하는 Open VLM Leaderboard를 활용하여 용도에 맞는 모델을 선정할 수 있습니다.