SOP-Bench: 실제 비즈니스 절차에서 AI 에이전트를 평가하는 새로운 벤치마크

표준 운영 절차(SOP)는 조직의 핵심 지식과 의사결정 로직을 담고 있지만, AI 에이전트가 이를 수행하기는 쉽지 않다. 실제 절차에는 명시되지 않은 맥락 해석, 현장 지식 활용, 상황별 판단이 요구되기 때문이다. 기존 에이전트 벤치마크들은 단일 기능을 테스트하거나 기계적으로 정돈된 프롬프트를 사용해 실제 업무의 모호성을 반영하지 못했다.

SOP-Bench는 이러한 격차를 메우기 위해 개발된 오픈 벤치마크다. 도메인 전문가가 작성한 실제 기업 절차와 기능하는 도구, 정답(ground truth)을 결합하여 에이전트가 텍스트 생성이 아닌 실제 절차 완성을 통해 점수를 받도록 설계했다. 이 벤치마크는 2026년 KDD 컨퍼런스에서 발표되었으며, 강력한 기반 모델조차 실패하는 지점을 실험적으로 보여줬다.

주요 특징은 다음과 같다.

• 12개 비즈니스 영역 커버: 의료 접수, 위험물 분류, 고객 서비스, 콘텐츠 검열, 금융 컴플라이언스, 창고 검사 등.
• 2,000개 이상의 태스크: 각 태스크는 에이전트가 호출할 수 있는 도구 인터페이스와 올바른 결과를 포함한다.
• 프레임워크 구조: 고정된 태스크 세트가 아닌, SOP 텍스트, 도구, 스펙, 테스트 케이스로 구성된 모듈형 구조로 사용자 정의 절차 추가가 가능하다.

SOP-Bench는 AI 에이전트가 단순히 텍스트를 생성하는 것이 아니라, 실제 비즈니스 환경에서 도구 호출과 상태 추적을 통해 업무를 완수할 수 있는지를 검증하는 표준을 제시한다.