VLM용 ASCII 다이어그램 벤치마크 공개
Introducing ASCIITermDraw Bench | Testing the ability of VLMs to Generate and Edit ASCII
·2026.07.19 18:17
VLM의 텍스트 기반 다이어그램 생성 및 편집 능력을 평가하는 ASCIITermDraw-Bench가 공개되었습니다.
VLM(Vision Language Models)이 단순한 텍스트 설명을 넘어, ASCII 문자를 활용해 정확한 구조의 다이어그램을 생성하고 편집할 수 있는지 평가하는 ASCIITermDraw-Bench가 도입되었습니다.
이 벤치마크는 기존의 코딩이나 수학 중심 평가와 달리, 복잡한 레이아웃을 가진 시각적 구조를 텍스트로 구현하는 능력을 측정합니다. 주요 평가 영역은 다음과 같습니다:
- 기본 박스 및 레이아웃
- 네트워크 토폴로지
- 소프트웨어 아키텍처 다이어그램
- 이미지 조건부 다이어그램 편집 (기존 구조를 유지하며 특정 부분만 수정하는 능력)
평가는 구조적 정확도를 측정하는 Structural Score와 LLM 판독기를 통한 Semantic Score로 구성됩니다. 현재 리더보드에서는 Gemma-4-31B-IT가 73.8%로 가장 높은 성능을 기록하고 있으며, Qwen3.7-Plus(70.2%)가 그 뒤를 잇고 있습니다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.