대만 특화 VLM 벤치마크 VisTW 공개

NTU MiuLab이 대만 전통 중국어 환경에서 비전 언어 모델(VLM)의 실제 읽기 능력을 평가하는 VisTW 벤치마크를 공개했다. 기존 영어 및 간체 중국어 중심의 벤치마크가 놓쳤던 대만 도로 표지판, 영수증, 교과서 도표 등 현지 문화와 맥락을 반영하는 데이터를 제공한다.

VisTW 벤치마크 구성

VisTW는 두 가지 하위 집합으로 구성된다.

• VisTW-MCQ: 21개 학문 분야의 실제 시험 문제에서 추출한 4,770개의 객관식 질문으로 구성되며, 차트, 회로도, 악보, 의료 영상 등 다양한 시각 데이터를 포함한다.
• VisTW-Dialogue: 대만의 일상적인 장면에 대한 141개의 개방형 질문으로, LLM 판정관에 의해 0~10점으로 채점되어 문화적 맥락 이해도를 측정한다.

Twinkle Eval 통합 및 검증

오픈소스 평가 프레임워크 Twinkle Eval은 v2.10.0부터 VisTW의 두 하위 집합을 모두 지원한다. 공식 구현체와의 비교 검증을 위해 253개의 샘플 데이터를 실행한 결과, 정확도 차이가 0.45% 포인트(81.01% vs 80.56%)로 매우 낮게 나타나 신뢰성을 확보했다.

주요 기술적 고려사항

• 추출 로직 차이: 공식 구현체는 정규식 실패 시 LLM을 호출하는 3단계 추출 방식을 사용하지만, Twinkle Eval은 모델 성능과 파서 성능의 혼동을 방지하기 위해 이를 배제하고 unparsed_rate를 보고한다.
• 토큰 제한 주의: 추론형 VLM의 경우 max_tokens를 2048로 설정하면 응답의 19%가 잘려 정확도가 19% 포인트 하락할 수 있으므로, 템플릿은 8192로 설정되어 있다.