Cloudflare, GLM-5.3 Workers AI 모델 크로스 리퀘스트 KV 캐시 노출 문제 수정

• GLM-5.3 Workers AI 모델에서 크로스 리퀘스트 KV 캐시 노출 문제가 발생하여 2026년 8월 27일부터 9월 9일까지 155건의 응답에 타 고객 세션 데이터가 포함됨
• 681,280 토큰의 prefill KV 캐시 풀 제한이 1,048,576 토큰 컨텍스트 윈도우보다 작아 발생한 불일치와, 거부된 요청이 구식 캐시 페이지를 유지하도록 허용하는 SGLang 버그가 복합적으로 작용함
• Cloudflare는 prefill KV 풀을 약 204만 토큰으로 확장하고, SGLang 패치를 통해 KV 전송 전 admission queue에서 거부된 요청을 폐기하도록 조치함
• 수정안은 SGLang v0.5.20에 배포되었으며 v0.5.21, v0.5.22에서 후속 업데이트가 이루어짐. 운영자는 v0.5.22 이상으로 업그레이드하고 KV 풀 크기와 컨텍스트 길이를 검증해야 함

Root Cause and Fix

• SGLang의 disaggregated prefill/decode 모드에서 KV 풀을 초과하는 요청을 거부하지 못하고 1 토큰 플레이스홀더로 대체한 채 prefill을 진행함
• Decode 노드가 이전 요청의 KV 캐시가 덮어쓰기된 것으로 오인하여 8개 페이지 중 7개에서 구식 데이터를 읽으며 HTTP 200을 반환함
• 수정안은 admission queue에서 거부된 요청을 원래 오류와 함께 폐기하여 bootstrap, 할당, KV 전송을 차단함

Hardening and Recommendations

• 운영자는 엔진 시작 로그에서 KV 풀 크기와 컨텍스트 길이를 비교하고, 풀이 작으면 컨텍스트 길이를 낮춰야 함
• 풀 크기를 초과하는 요청이 핸드오프 전에 거부되도록 SGLang v0.5.22 이상으로 업그레이드함
• prefill 및 decode 역할 모두에서 지연 KV 리리스를 활성화하고, 무제한 지연 쓰기를 방지하기 위해 Mooncake 전송 배치에 제한을 설정함