52개 T2I 모델 벤치마크 공개

텍스트-이미지(T2I) 모델의 성능을 객관적으로 비교하기 위한 새로운 벤치마크 데이터셋이 공개되었습니다. 이 벤치마크는 텍스트 렌더링, 공간 추론, 인간 실재성, 부정 표현 등 T2I 모델이 취약한 영역을 겨냥한 192개의 난이도 높은 프롬프트로 구성되었습니다.

평가 방식은 VLM(비전 언어 모델)이 사전 정의된 이진 질문과 정답을 기준으로 모든 생성 이미지를 판단하는 것입니다. 총 52개 모델이 대상이 되며, 9,000개 이상의 이미지가 생성 및 분석되었습니다.

기존 공개 리더보드가 실제 생성 이미지를 공개하지 않는 한계를 보완하기 위해, 결과 이미지와 프롬프트, 평가 데이터를 모두 오픈소스로 제공합니다.

• 메서드론: imagebench.ai/methodology-v1
• 데이터셋: Hugging Face (dh7/imagebench)
• 리더보드: imagebench.ai/imagebench-v1

주요 한계로 텍스트-이미지 모델에만 적용되며, VLM 판단의 완벽성을 보장하지 않는다는 점이 지적되었습니다.