Cloudflare, AI Gateway에 모델 과잉 감지 기능 추가 및 Auto Router 클로즈드 베타 출시

Cloudflare가 AI Gateway User Insights에 '모델 과잉 사용(model overkill)' 감지 기능을 추가했습니다. 이 기능은 요약이나 형식 지정 등 단순 작업에 고사양 모델을 사용하는 사례를 식별하여, 더 빠르고 저렴한 모델로 전환할 수 있도록 돕습니다. 대화 내용을 분석해 작업 대비 모델 성능이 과도한 경우를 표시하며, 특정 사용자, 에이전트, 워크플로우를 조사할 수 있습니다.

또한 코딩, 리서치, 작성 등 작업 유형 분류와 턴(turn) 분석 기능을 도입해 AI 상호작용의 복잡도와 비용을 파악할 수 있게 했습니다. 이러한 인사이트는 현재 클로즈드 베타로 제공되는 새로운 Auto Router에 반영됩니다. Auto Router는 가장 비싼 옵션을 기본값으로 두지 않고, 비용과 성능을 고려해 각 작업에 가장 적합한 모델을 자동으로 선택합니다. 분류는 요청 처리 후 비동기적으로 이루어져 응답 지연이 없으나, 대시보드 데이터는 실제 트래픽보다 약 하루 정도 늦게 반영될 수 있습니다.