[ACL 2024] 차트 이해 및 추론을 위한 새로운 접근 방식 - LG AI Research BLOG

차트는 데이터 시각화의 핵심이지만, AI 모델이 차트 내 복잡한 요소 간의 관계를 파악하고 질문에 답하는 것은 여전히 어려운 과제다. 기존 방식은 시각적 정보 처리와 실제 환경 적용에 한계가 있었다.

이를 해결하기 위해 ChartInstruct는 차트 특화 **Vision-Language Model(VLM)**을 개발하여 질문 답변, 요약, 추론 등 다양한 태스크를 수행할 수 있는 범용 접근 방식을 제안한다.

데이터 구축 과정은 다음과 같다:

• 데이터 수집: UniChart 등 공개 데이터셋과 웹 크롤링을 통해 다양한 스타일(막대, 선, 파이 차트 등)의 차트 수집
• 정보 추출: Gemini Pro Vision을 활용해 차트 이미지에서 데이터 테이블과 제목을 자동 추출
• 질문 생성: 추출된 테이블을 바탕으로 GPT-3.5/4를 이용해 요약, 팩트 체크, Chain of Thought(CoT) 추론, 코드 생성 등 다양한 유형의 질문 생성

최종적으로 70,882개의 차트에 대해 총 191,000개의 인스트럭션 데이터를 생성했다. 모델 구조는 Vision Encoder, Adapter Module, LLM을 결합한 엔드투엔드 시스템을 사용하여 시각 정보 이해와 언어 생성 능력을 극대화했다.