AI Gateway, Jev 모델에 TypeSafe 클라이언트 및 HTTP API 지원 추가

AI Gateway가 확률적 의사결정 모델인 Jev 호출 방식을 확장했다. 기존 AI SDK 지원에 더해, 기존 TypeSafe 클라이언트를 그대로 사용하거나 HTTP API를 통해 직접 호출할 수 있게 됐다.

연동 방식 및 특징

• TypeSafe 클라이언트: Base URL과 API Key만 변경하면 기존 평가 호출 코드와 응답 구조를 유지하며 연동할 수 있다.
• HTTP API: /v1/evaluate 엔드포인트로 POST 요청을 보내 언어와 프레임워크에 관계없이 Jev를 호출할 수 있다.
• AI SDK: TypeScript 애플리케이션에서 evaluate 함수를 통해 동일하게 평가 실행이 가능하다.

Jev는 입력된 상태에 대해 텍스트 생성 없이 확률이 포함된 타입 지정된 답변을 반환한다. 요청 유형은 boolean(0~1 확률), choice(지정된 옵션 중 선택), score(정의된 척도 점수) 세 가지다. 모든 호출은 AI Gateway를 통해 과금되며, 다른 모델 호출과 함께 사용량 및 관측 데이터에 통합된다.

에이전트 프레임워크 'eve'와의 통합

내구성 있는 에이전트 구축 프레임워크인 eve는 Jev를 기본 평가 모델로 사용한다. 이를 통해 자동 모델 선택, 타입 지정 평가, 자동 도구 승인 등의 기능을 수행한다.