TypeSafe AI, AI Gateway에 확률적 의사결정 모델 'Jev' 공개

TypeSafe AI가 AI Gateway를 통해 소프트웨어용 확률적 의사결정 모델 Jev를 공개했다. Jev는 상태 입력을 받아 타입화된 Choice, Score, Boolean 답변과 확률을 직접 반환한다.

기존 LLM이 토큰 단위로 텍스트를 생성한 후 애플리케이션이 이를 파싱하고 검증하는 방식과 달리, Jev는 선언된 모든 질문을 병렬로 평가한다. 이를 통해 불필요한 텍스트 생성을 제거하고, 명확한 케이스는 자동화하며 불확실한 케이스는 리뷰로 라우팅하는 프로세스를 간소화한다.

성능 및 활용

TypeSafe는 워크플로우 평가에서 Jev가 기존 LLM 대비 최대 193.6배 빠르고 444.6배 저렴했다고 보고했다. 주요 활용 사례는 다음과 같다:

• 에이전트 루프에서 다음 도구 또는 서브 에이전트 선택
• 계속 진행, 재시도, 사용자 질문 또는 중단 여부 결정
• 실행 전 긴급성 또는 위험도 점수화
• 모델 출력 검증 및 가드레일 적용

개발자 연동

AI SDK 7은 실험적인 evaluate API를 통해 Jev를 노출한다. AI SDK 7.0.105 이상에서 지원되며, model, state, questions를 지정하여 호출한다. typesafe-ai/jev를 모델로 지정하면 질문 ID와 Choice 키가 보존된 결과를 받을 수 있다.

결과에는 result.providerMetadata.typesafe.confidence를 통해 Choice와 Score의 신뢰도가 별도로 제공된다. 또한 Zero Data Retention 및 No Training 옵션을 요청 단위로 활성화할 수 있으며, 평가 호출은 로그와 커스텀 리포팅에 기록되고 예산에 반영된다.