PyMuPDF, Docling 대비 문서 파싱 속도·품질 우위

이파피루스와 PyMuPDF 개발사 Artifex가 LlamaIndex의 공개 벤치마크 스위트인 ParseBench를 활용해 로컬 문서 파서 PyMuPDF와 Docling의 성능을 비교한 결과를 공개했습니다. 이번 테스트는 벤치마크의 공정성을 위해 개발사 자체 평가가 아닌 제3자(경쟁사)의 벤치마크를 사용했으며, 총 2,078개의 문서를 동일한 AWS 인스턴스에서 측정했습니다.

성능 및 리소스 비교

동일 환경에서의 측정 결과, PyMuPDF가 Docling 대비 전반적인 우위를 보였습니다.

• 종합 품질 점수: PyMuPDF 53.6점 vs Docling 50.72점
• 표(Table) 추출 점수: PyMuPDF 72.0점 vs Docling 69.0점
• 비주얼 그라운딩 점수: PyMuPDF 61.9점 vs Docling 65.6점
• 처리 속도: 페이지당 중간 처리 시간(Median Time) 기준 PyMuPDF는 0.47초, Docling은 11.0초로 PyMuPDF가 훨씬 빨랐습니다.
• 설치 용량: PyMuPDF는 278MB로, Docling(1.6GB) 대비 훨씬 가벼웠습니다.

시사점 및 한계

PyMuPDF는 CPU 기반 환경에서 높은 처리 속도와 낮은 메모리 점유율을 요구하는 대규모 문서 파싱 파이프라인에 유리합니다. 반면 Docling는 비주얼 그라운딩 점수에서 더 높은 점수를 기록했으나, 본 벤치마크에서는 속도와 경량성 측면에서 PyMuPDF가 더 효율적인 것으로 나타났습니다. 해당 결과는 특정 버전(PyMuPDF 1.28.2, Docling 2.124.0) 및 ParseBench 기준에 따르며, 실제 업무 환경에서는 데이터 특성에 따른 추가 검증이 필요합니다.