LG AI Research: ChartInstruct 연구 소개

최근 ACL 2024에서는 차트 데이터를 활용해 다양한 작업을 수행하는 범용 모델 개발이 주요 화두로 떠올랐다. 본 글에서는 차트의 시각적 정보를 분석하고 복잡한 추론을 수행하는 ChartInstruct 모델을 집중적으로 다룬다.

데이터 확보를 위해 웹 크롤링과 공공 데이터셋을 활용하였으며, Gemini Pro Vision으로 데이터 테이블을 추출하고 GPT-3.5/4를 통해 질문을 생성했다. 이를 통해 총 191,000개의 Instruction과 70,882개의 차트 데이터를 구축했다.

모델 아키텍처는 Vision Encoder, Adapter Module, LLM의 세 가지 핵심 요소로 구성된다. 기존 CLIP 대신 차트 전용 인코더인 UniChart를 사용하며, 시각적 특징을 언어 모델의 임베딩 공간으로 매핑하는 어댑터를 통해 정렬(Alignment)을 수행한다.

실험 결과, ChartInstruct는 ChartQA, OpenCQA, Chart-to-Text, ChartFC 등 다양한 벤치마크에서 기존 오픈 소스 모델인 UniChart를 뛰어넘는 우수한 성능을 입증했다.