Vercel, Harbor 평가 프레임워크 지원… Firecracker microVM 기반 병렬 실행 가능

Vercel이 오픈소스 평가 하네스인 Harbor를 Vercel Sandbox에서 실행할 수 있도록 지원한다. Harbor는 Terminal-Bench의 기반 기술로, SWE-bench, tau3-bench, OSWorld 등 다양한 벤치마크를 포함한다.

사용자는 harbor run 명령어에 --env vercel 옵션을 추가하면 각 트라이얼이 독립적인 Firecracker microVM에서 실행된다. 이를 통해 로컬 머신의 한계를 넘어 대규모 병렬 처리가 가능하다. 네트워크 정책은 VM 외부의 샌드박스 방화벽에서 강제되며, 자격 증명 주입 기능은 시크릿을 샌드박스 내부로 전달하지 않고 아웃바운드 요청에만 연결한다.

AI Gateway와 연동하면 하나의 API 키로 여러 제공자의 수백 개 모델에 접근할 수 있다. --model 플래그만 변경하면 다른 모델로 동일한 벤치마크를 쉽게 전환할 수 있다. 이 기능은 Harbor 0.22.0 이상 버전에서 지원된다.