Surge AI, 전문 세무 에이전트 평가 벤치마크 DAYJOB: Tax 출시

• Surge AI가 2026년 10월 27일 DAYJOB: Tax 벤치마크를 출시함. 이 벤치마크는 컴플라이언스, 자문, 분쟁 해결을 포함한 엔드투엔드 전문 세무 워크플로우에서 AI 에이전트를 평가하는 데 설계됨
• 8개 세무 실무 영역에 걸친 50개 환경으로 구성됨. 에이전트는 1,789개의 워크스페이스 파일(과제당 중앙값 30개)을 처리하고 95%의 루브릭 점수를 달성해야 통과함
• Claude Sonnet 5.5가 10.8%의 최고 통과율을 기록함. Claude Fable 5.1은 9.6%, Claude Opus 5.5는 9.2%의 통과율을 보였으며, Sonnet과 Opus 5.5는 고품질 파레토 프론티어에 위치함
• 에이전트 실패 분석 결과, 프런티어 모델들은 불완전한 정보 하에서의 전문적 판단에서 어려움을 겪음. 예를 들어, 법적 기한 누락이나 퇴직 계좌 분할 시 법적 혼인 상태 무시 등이 해당함

Benchmark Composition

• PwC, Deloitte, Exxon, Baker Tilly, Moss Adams, EY의 세무 전문가들이 과제를 설계함. 정확성과 해결 가능성을 위해 3단계 전문가 검토를 거침
• 입력 데이터에는 PDF, Excel 시트, IRS 통지, 장부, 현장 방문 로그와 같은 비정형 증거가 포함됨. 단순 계산이 아닌 기록이 세무 처리를 뒷받침하는지 검증하는 범위로 확장됨

Differentiation and Findings

• TaxBench나 TaxCalcBench와 달리, DAYJOB은 파트너십 손실 분석과 유산 신고와 같은 복잡한 시나리오에서 누락된 이슈 발견과 엔드투엔드 책임을 평가함
• 결과에 따르면, 현재 모델들은 개별 단계를 실행할 수 있지만, 지속되는 전문적 판단이 필요한 실제 세무 워크플로우에서 일관된 성능에는 도달하지 못함