LlamaIndex, ParseBench 공개... LlamaParse 정확도 84.9% 달성
·2026.11.19 00:12
핵심 내용
LlamaParse가 ParseBench에서 전체 정확도 84.9%를 기록하며 PDF 파싱 성능을 입증했다.
자세히 보기
- LlamaIndex가 보험, 금융, 정부 문서 약 2,000페이지를 인간이 검증한 ParseBench 벤치마크를 공개하여 PDF 파싱 평가 표준화를 추진함
- LlamaParse Agentic 티어가 ParseBench에서 전체 정확도 84.9%, 표 정확도 90.7%를 기록했으며 페이지당 비용은 약 1.2~1.5센트임
- pypdf, pdfplumber, PyMuPDF 등 DIY 추출 라이브러리는 디지털 생성 PDF는 처리하지만 스캔본이나 혼합 문서는 실패하며 복잡한 OCR 파이프라인과 수동 코딩이 필요함
- LlamaParse는 에이전틱 OCR을 활용해 레이아웃별 리더(OCR 또는 VLM)를 선택하고 구조화된 JSON 또는 Markdown을 반환하며 티어에 따라 페이지당 1~25 크레딧의 API 비용을 부과함
- PyMuPDF는 pdfplumber보다 약 10배 빠름(문서당 0.34초 대 3.4초)하지만 SaaS 배포 시 AGPL 또는 상용 라이선스가 필요함
- ParseBench 리더보드, 데이터셋, 평가 코드는 GitHub의 run-llama/ParseBench에서 공개됨
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.