AI Gateway, 신뢰도 기반 의사결정 폴백 베타 기능 도입

AI Gateway가 confidence-based decision fallbacks 베타 기능을 지원한다. 주 모델의 답변이 사용자가 정의한 신뢰도 조건을 충족하지 못하면 보조 모델로 요청을 에스컬레이션한다. 이 기능은 Boolean 질문의 확률 범위나 Choice 및 Score 질문의 임계값 등 여러 신호를 결합해 의사결정의 견고성을 높인다.

구성 및 동작

providerOptions.gateway.models에 조건부 객체를 추가해 fallback을 설정한다. 기존 오류 처리용 fallback은 영향을 받지 않는다. question 필드를 생략하면 해당 유형의 모든 질문에 조건이 적용된다. 예를 들어 { "confidenceBelow": 0.6 }은 0.6 미만의 Choice 또는 Score 답변에 대해 에스컬레이션을 트리거한다.

비용 영향

fallback이 실행되면 두 번째 의사결정 프로세스가 수행되므로 두 단계 모두 과금된다. 낮은 신뢰도 임계값으로 에스컬레이션이 자주 발생할 경우 추가 비용을 고려해야 한다.