Surge AI, 장기 금융 추론 평가 벤치마크 DAYJOB: Finance 공개

Surge AI가 DAYJOB: Finance 벤치마크를 공개했다. 이 벤치마크는 기업 금융, 은행, 신용, 투자, 실물 자산 등 장기적 금융 추론 능력을 평가한다. 실제 지식 업무의 복잡성을 반영해 현실적인 요청, 복잡한 환경, 최종적인 전문적 판단을 요구한다. 주요 평가 항목은 도구 사용, 계획 수립, 적응력, 사실 기반성, 상식이다.

벤치마크에는 점포 확장 제안 평가 시 NPV와 IRR을 계산하고 WACC 범위, 채무 약정 등 엄격한 금융 제약 조건을 준수해야 하는 시나리오가 포함된다. 또한 신흥 시장 펀드 보고서 검토 시 단위 불일치(센트 대 랜드)나 잘못된 출처 사용 등 가격 오류를 식별해야 한다. 기타 시나리오로는 자체 처리와 아웃소싱 수표 처리 비용을 비교하는 운영 비용 분석이 있다.

Surge AI는 생태계 내 다른 벤치마크도 언급했다. 여기에는 DAYJOB: Healthcare(임상 및 운영 워크플로), Chartography(전문 차트 이해), HANDBOOK.md(장기 컨텍스트 에이전트 지시 따르기), Antidote(설득력 있는 글쓰기 품질), Hemingway-bench(글쓰기 스타일 및 독창성)가 있다. 제공된 텍스트에는 이러한 벤치마크의 특정 모델 점수나 리더보드 순위는 포함되지 않았다.