AI Briefing

SGLang FP8 KV·누수 수정

Filed two PRs for SGLang which may help others too — FP8 KV cache corruption and memory leak on image requests

·2026.05.01 21:29

핵심 내용

SGLang에서 FP8 KV cache 손상과 이미지 요청 메모리 누수가 발견됐다.

자세히 보기

AI Router Switzerland가 SGLang에서 발견한 두 결함을 PR 2건으로 정리했다.

  • PR #24198은 forward_extend()의 ragged+paged 경로에서 radix cache prefix hit가 발생할 때 k_scale/v_scale가 빠지던 문제를 고쳤다. FP8 KV cache에서는 이 때문에 조용히 잘못된 출력이 나올 수 있었고, non-ragged와 decode 경로에 적용된 2025년 4월 수정이 ragged+paged 분기에는 빠져 있었다.
  • 이 버그는 Qwen3.6-27B-FP8, DeepSeek-V4, Gemma 4처럼 레이어별 KV cache scale을 체크포인트에 저장하는 FP8 모델에 영향을 줄 수 있다.
  • PR #24182는 Qwen-VL 계열 이미지 요청에서 release_features()가 pixel_values만 해제하고 GPU 상의 mrope_positions, mrope_position_delta, mrope_position_delta_repeated_cache를 놓쳐 메모리가 누적되던 누수를 수정했다. 이 PR은 검토 중이다.
  • 반복 이미지 요청 시 GPU 메모리가 계속 증가해 결국 OOM으로 이어질 수 있다.

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.