AI Gateway, 세션 캐시 효율 추적하는 Sessions view 추가

AI Gateway 로그에 Sessions view가 추가되어 요청을 세션별로 그룹화하고 session affinity 라우팅을 시각화한다. 각 행에는 Claude Code, Codex, Cursor 같은 코딩 에이전트나 애플리케이션과 함께 비용, 모델, 제공자, 모든 턴의 입력 캐시 비율 등 지표가 표시된다.

세션 상세 및 라우팅

세션을 열면 cache hit rate, 지속 시간, 라우팅 경로를 확인할 수 있다. 경로는 각 턴의 특정 모델과 타이밍을 나열하며, 세션을 처리한 제공자와 이전 제공자를 식별한다. Session affinity는 각 턴을 이전 턴을 처리한 제공자로 라우팅하여 프롬프트 대부분이 캐시에 유지되도록 한다. 따라서 단일 제공자에 머무는 세션은 캐시 읽기 비율이 더 높다.

필터링 및 구성

사용자는 턴 수, 클라이언트, 모델, 제공자, 인증, 비용으로 세션을 필터링할 수 있다. 기본값으로 최소 턴 필터를 해제하지 않으면 단일 턴 세션은 숨겨진다. Session affinity는 텍스트 및 채팅 요청에서 자동으로 실행된다. 수동 그룹화를 위해 개발자는 providerOptions.gateway에 동일한 sessionId를 보내거나 대화 내 요청에서 동일한 x-session-id 헤더를 사용할 수 있다. 식별자가 없는 요청은 대화 시작 부분의 지문으로 그룹화되어 fingerprinted sessions로 표시된다.