Vercel, Harbor와 AI Gateway로 E2E 에이전트 평가 구축법 공개

Evals는 에이전트가 작업을 정확히 완료하는지 측정하며, 코드 실행 여부만 확인하는 결정론적 테스트와 구별됨. LLM 출력의 변동성 때문에 단일 수동 테스트만으로는 부족함.
결정론적 테스트(0회 LLM 호출), 1턴 Evals(1회 호출), E2E Evals(2회 이상 호출)로 구성된 에이전틱 테스트 피라미드 제안. 사용자 성공을 위한 전체 단계 시퀀스를 검증하는 유일한 계층은 E2E Evals임.
sfbeans CLI와 Harbor 프레임워크를 활용한 예시에서 60% 성공률이 99% Pass@5와 8% Pass^5를 동시에 나타냄. 신뢰성 지표는 사용자 실패 비용과 일치해야 함을 강조함.
가격 견적 생략이나 도구 탐색 실패 등 특정 실패 모드를 식별하려면 트레이스 분석이 필수적. 이를 통해 CLI에 예산 제약 추가 같은 표적화된 수정이 가능함.
목표 정의, 지표 선택(Success, Pass@k, Pass^k, Efficiency), 검증자 포함 작업 설계, Vercel Sandbox를 통한 동시 트라이얼 실행, 궤적 분석을 통한 제품 반복 개선으로 구성된 워크플로우를 제시함.

핵심 내용