Harbor와 Vercel로 에이전트 평가 구축하기
·2026.11.16 09:00
핵심 내용
Harbor와 Vercel로 에이전트 신뢰성을 측정하는 방법을 제시했다.
자세히 보기
- 에이전트가 소프트웨어 사용자로 부상함에 따라 단순 기능 테스트를 넘어 작업 완료 정확도를 측정하는 평가가 필요함
- 결정론적 테스트, 1턴 평가, 엔드투엔드(E2E) 평가로 구성된 에이전틱 테스트 피라미드 제안
- 다단계 작업의 최종 결과를 검증하려면 E2E 평가가 필수적임
- Pass@k(능력)와 Pass^k(신뢰성) 지표를 활용해 에이전트가 작업을 수행할 수 있는지, 일관되게 신뢰할 수 있는지 판별
- 커피 주문 같은 고위험 작업에서는 Pass^k가 핵심 지표임
- Terminal-Bench 제작진이 개발한 오픈소스 프레임워크 Harbor는 격리된 컨테이너에서 에이전트를 실행하고 특정 제약 조건에 맞춘 최종 상태를 검증하며 전체 트레이스를 기록
- 트레이스 분석을 통해 가격 검증 생략, 도구 탐색 실패 등 구체적인 실패 모드를 식별
- 이를 바탕으로 예산 제약 추가, 탐색성 개선 등 제품 문제를 수정 가능
- Vercel은 모델 라우팅을 위한 AI Gateway, 동시 실행을 위한 Vercel Sandbox, 트레이스 및 산출물 저장을 위한 Drives/Blob 등 인프라 스택 제공
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.