문서 추출 벤치마크의 '홈 어드밴티지' 현상 분석

문서 데이터 추출(OCR/파싱) 관련 리더보드 13개를 분석한 결과, 벤치마크 제작사나 후원사와 연관된 모델이 압도적으로 높은 순위를 기록하는 '홈 어드밴티지' 현상이 확인되었습니다.

주요 통계 (2024년 9월 1일 기준)

• 제작사·후원사 연관 모델이 출전한 10개 벤치마크 중 10개 전부 상위 3위 이내 진입
• 그중 7개 벤치마크에서 1위 차지
• 예시: LlamaIndex의 ParseBench에서 LlamaParse Agentic(84.88점) 1위, Reducto 후원 LongExtractionBench에서 Reducto Deep Extract 1위 등

원인 분석 이러한 현상은 다음과 같은 구조적 요인으로 분석됩니다.

1. 문제 설정 편향: 자사 도구가 잘 처리하는 실패 유형을 기준으로 벤치마크를 설계
2. 설정값 비대칭: 자사 도구는 최적화하여 실행하고, 경쟁 도구는 기본값으로 실행
3. 성능 점검 도구화: 릴리스 시 자사 벤치마크 점수를 암묵적인 최적화 기준으로 사용
4. 발표 필터링: 성능이 낮게 나오는 벤치마크는 발표하지 않음

시사점 및 권장 사항 HunyuanOCR이나 olmOCR 2처럼 자사 벤치마크에서는 높은 점수를 받지만 독립적인 벤치마크에서는 성적이 급락하는 사례도 존재합니다. 따라서 리더보드 참고 시 제작사 제품의 점수를 제외하고, 독립 벤치마크와 교차 검증하거나 자신의 데이터로 직접 테스트하는 것이 권장됩니다.