멀티모달 추론 벤치마크 'ConTextual' 공개

UCLA 연구진이 개발한 ConTextual은 텍스트가 포함된 이미지 내에서 시각적 맥락과 텍스트 정보를 결합하여 추론하는 능력을 평가하기 위한 데이터셋이다.

기존 LMM(Large Multimodal Models) 평가가 단순 지시 이행에 집중했다면, ConTextual은 지도 탐색, 쇼핑, 인포그래픽 등 텍스트가 풍부한 실제 시나리오에서의 맥락 이해를 다룬다. 데이터셋은 다음과 같은 특징을 가진다.

• 8가지 실제 시나리오: 시간 읽기, 쇼핑, 내비게이션, 모바일 앱, 웹페이지, 인포그래픽 등을 포함한다.
• 데이터 구성: 506개의 도전적인 지시문과 함께 검증 세트(100개) 및 테스트 세트를 제공한다.

실험에서는 GPT-4V, Gemini-Vision-Pro와 같은 폐쇄형 모델과 LLaVA, Qwen-VL 등 오픈소스 모델을 포함한 13개 모델을 테스트했다. 평가는 GPT-4를 활용한 LLM-as-a-judge 방식을 사용하며, 연구진은 모델별 성능을 확인할 수 있는 리더보드도 함께 공개했다.