문서 파서 성능측정

LlamaIndex가 ParseBench를 공개했다. 문서 파싱 성능을 비교할 때, 공개 리더보드만 보지 말고 내가 가진 실제 문서로 직접 돌려보라는 메시지가 핵심이다.

평가 대상은 여러 파서이며, 게시글에서는 Gemini 3 Flash, Qwen 3 VL reductor 등도 테스트했다고 적었다.

평가 항목은 5가지다.

• table accuracy
• content faithfulness
• visual grounding
• chart data extraction
• semantic formatting

즉, 표와 차트 같은 구조화 정보뿐 아니라, 원문 충실도와 시각 요소 인식, 결과 포맷까지 함께 본다. 문서 파싱 도구를 도입하거나 비교할 때, 실제 업무 문서 기준으로 검증하기 좋은 형태다.

Hugging Face 데이터셋도 함께 공개되어 있어 바로 실험해볼 수 있다.