vLLM Semantic Router 벤치마크: 전환 시 지연 550ms 절감,…

vLLM Semantic Router와 Envoy 기반 에이전트 모델 전환 벤치마크를 수행하여 반응형 전환 정책의 성능과 트레이드오프를 분석함
반응형 전환 정책이 게이트 비활성화 대조군 대비 강한 모델 사용 비율 31.8%p 감소와 세션당 평균 지연 시간 550ms 절감 효과를 보였으나, 대조군이 통과한 최종 검사 3건에서 실패함
네이티브 도구 실험에서 어려운 경계 도달 전 강한 모델 선택 시 최종 성공률이 37.5%에서 100%로 향상되지만, 강한 모델 턴 52.5%p 증가와 세션당 지연 1,275ms 증가라는 비용 발생
모델 A의 KV 캐시는 모델 B에서 재사용 불가하여 프리필(prefill)이 필요하며, 시맨틱 정책이 지정한 모델 외의 캐시 적중을 이유로 모델 결정을 뒤집지 않는 원칙을 제안함
대화 상태의 기록, 도구 소유권, 제공자 관리 상태, KV 캐시 등 4가지 유형을 구분하고, Semantic Router(모델 선택)와 추론 라우터(엔드포인트 선택)의 책임을 분리하는 아키텍처를 제시함
강제(enforce) 모드 실패 원인은 작은 모델의 3턴 실패 후 강한 모델이 잘못된 답을 기록에서 이어받아 최종 종합 시 순서 오류가 발생한 것으로 분석됨
새 게이트는 먼저 observe 모드 실행과 품질 요구 사항 우선 설정을 권장하며, 부수 효과가 있는 도구에는 멱등성(idempotency) 안전장치가 필요함

vLLM Semantic Router 벤치마크: 전환 시 지연 550ms 절감, 경계 전 선택 시 성공률 100%