Harvey의 Legal Agent Benchmark 공개

Harvey가 법률 업무용 오픈소스 벤치마크 LAB(Legal Agent Benchmark)를 공개했다. 목표는 에이전트가 변호사 업무를 어디까지 수행할 수 있는지, 그리고 어디부터는 인간 검토가 필요한지를 실제 업무 기준으로 측정하는 것이다. 이를 통해 로펌은 AI 투자 ROI와 업무 분담 방식을 더 명확히 판단할 수 있고, 모델 제공자와 연구자도 공통 기준으로 성능을 비교할 수 있다.

LAB은 실제 로펌의 작업 흐름을 반영하도록 설계됐다.

• Instructions: 파트너가 associate에게 주는 짧은 업무 지시
• Environment: 계약, 이메일, 템플릿이 섞인 client matter
• Output: 리뷰 가능한 legal work product
• Verification: 전문가 루브릭 기반 채점

각 태스크의 지시는 평균 50단어 내외로 짧고, 환경에는 핵심·주변 파일이 함께 들어 있어 여러 문서를 넘나들며 맥락을 조합해야 한다. 초기 버전은 1,200개가 넘는 태스크와 24개 법률 실무 분야, 75,000개가 넘는 전문가 작성 기준으로 구성된다.

평가는 all-pass grading을 채택한다. 사실, 인용, 금액, 기한, 심각도, 권고안 같은 기준을 모두 통과해야 완료로 인정되며, 일부 이슈만 맞히는 것은 부분 점수가 아니라 미완성으로 처리된다.

예시로 제시된 M&A 과제는 4억 5,800만 달러 규모의 가상 인수에서 change-of-control 조항을 검토하고, 리스크를 정리하며, 계약별 분석과 대응 방안을 담은 메모를 작성하게 한다. Harvey는 LegalBench, CUAD, LEXam, BigLaw Bench처럼 기존 평가가 주로 단기 추론에 머물렀다고 보고, 장기·다단계 법률 작업을 측정할 공용 기준이 필요하다고 설명했다.

코딩 분야에서 SWE-Bench Pro, SWE-Bench Verified, Terminal-Bench 2.0이 전환점을 보여줬듯, 법률 분야에도 이런 벤치마크가 에이전트 성능의 신호탄이 될 수 있다는 판단이다. 이번 버전은 아직 leaderboard 없이 공개됐으며, 향후 연구 파트너와 함께 기준 결과와 정규화 규칙을 발표해 벤치마크를 계속 확장할 계획이다.