EVA-Bench Data 2.0: 3개 도메인, 121개 도구, 213개 시나리오

음성 AI 에이전트의 도메인별 적응력을 평가하기 위한 EVA-Bench 2.0이 공개되었다. 이번 업데이트를 통해 기존 1개 도메인에서 항공 고객 서비스(CSM), 기업 IT 서비스 관리(ITSM), 의료 HR 서비스 제공(HRSD) 등 3개 도메인으로 확장되었다.

주요 특징은 다음과 같다:

• 규모 확대: 총 213개 시나리오와 121개 도구를 포함하며, 이는 이전 버전 대비 약 4배 증가한 수치다.
• 현실적인 설계: 실제 기업에서 사용하는 API 스키마와 정책을 모델링했으며, 단일 의도부터 다중 의도, 그리고 보안을 우회하려는 적대적(Adversarial) 호출까지 포함한다.
• 검증 완료: 최신 프론티어 모델들을 대상으로 시나리오의 해결 가능성을 검증하여 벤치마크의 공정성을 확보했다.
• 오픈 소스: 모든 데이터셋은 Hugging Face를 통해 누구나 다운로드하여 사용할 수 있다.