데이터 에이전트용 DABstep 벤치마크 공개

Adyen과 Hugging Face가 협력하여 개발한 DABstep은 데이터 분석 분야의 AI 에이전트 성능을 평가하기 위한 새로운 벤치마크다.

DABstep은 기존의 단순한 수학이나 코드 문제를 넘어, 실제 데이터 분석가가 직면하는 복잡한 워크플로우를 반영한다. 주요 특징은 다음과 같다:

• 실무 중심 태스크: Adyen의 실제 업무에서 추출한 450개 이상의 과제를 포함하여 실질적인 데이터 분석 능력을 측정한다.
• 정형 및 비정형 데이터 결합: 데이터베이스와 같은 정형 데이터뿐만 아니라, 복잡한 문서와 같은 비정형 데이터를 함께 다루는 능력을 요구한다.
• 객관적 평가: 해석의 여지가 없는 이진(Binary) 결과 방식을 사용하여 평가의 객관성을 높였다.
• 간편한 사용성: 복잡한 설정 없이 코드 실행 환경만 있으면 모델을 테스트하고 리더보드에 결과를 제출할 수 있다.

현재 가장 뛰어난 추론 기반 에이전트들도 DABstep에서 약 16%의 정확도를 기록하는 데 그쳐, 데이터 분석 에이전트 기술의 발전이 여전히 초기 단계임을 보여준다.