LlamaIndex, 문서 파싱 평가 ParseBench-2 공개

·2026.11.19 09:00

핵심 내용

ParseBench-2가 치명적 오류를 중벌로 부과하는 심각도 정책을 도입했다

1 / 7

자세히 보기

  • ParseBench-2는 결정론적 지표가 인간 선호도와 일치하도록 명시적 심각도 정책을 도입하여, 잘못된 금액 등 치명적 오류에는 중대한 패널티를 부과하고 동등한 표현에는 패널티를 부과하지 않음
  • 벤치마크는 6개 차원에 걸쳐 4,317개의 페이지 단위 사례로 확장되었으며, 양식, 복잡한 표, 포맷팅을 위한 새로운 대상 데이터셋과 1,025개 차트에 대한 완전한 참조 테이블을 포함함
  • Metric Lab 프로토타입은 사용자가 차원 가중치, 심각도 가중치, 오류 분류를 커스터마이징할 수 있어 재무 분석과 같은 특정 워크로드에 맞게 평가를 조정할 수 있음
  • 시스템은 코딩 에이전트를 활용한 힐클라이밍 과정을 통해 330가지 변형 유형에 대한 비교 규칙을 정교화하여, 일관되지 않은 선호도를 생성할 수 있는 LLM 기반 심판의 한계를 해결하면서 결정론적 점수를 유지함

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.