실무 중심 LLM 평가 리더보드 출시

Patronus AI가 Hugging Face와 협업하여 Enterprise Scenarios Leaderboard를 공개했다. 기존 LLM 벤치마크가 주로 학술적 과제에 집중했던 것과 달리, 이 리더보드는 실제 기업 현장에서 발생하는 실무적인 활용 사례를 평가하는 데 중점을 둔다.

주요 평가 태스크는 다음과 같은 6가지 영역을 포함한다:

• FinanceBench: 금융 질문에 대한 답변 능력
• Legal Confidentiality: 법률적 추론 및 기밀 유지 능력
• Creative Writing: 창의적 글쓰기 및 몰입도
• Customer Support Dialogue: 고객 지원 대화의 유용성 및 관련성
• Toxicity: 유해성 여부
• Enterprise PII: 기업 개인정보(PII) 보호 능력

특히 모델이 테스트 세트를 학습하여 성능을 조작하는 데이터 오염(Contamination) 문제를 방지하기 위해, 일부 데이터셋을 **폐쇄형(Closed-source)**으로 유지하는 전략을 채택했다. 이를 통해 기업 사용자들이 실제 비즈니스 애플리케이션에 적합한 모델을 보다 객관적으로 선택할 수 있도록 돕는다.