SGLang FP8 KV·누수 수정
Filed two PRs for SGLang which may help others too — FP8 KV cache corruption and memory leak on image requests
·2026.05.01 21:29
SGLang에서 FP8 KV cache 손상과 이미지 요청 메모리 누수가 발견됐다.
AI Router Switzerland가 SGLang에서 발견한 두 결함을 PR 2건으로 정리했다.
- PR #24198은
forward_extend()의 ragged+paged 경로에서 radix cache prefix hit가 발생할 때k_scale/v_scale가 빠지던 문제를 고쳤다. FP8 KV cache에서는 이 때문에 조용히 잘못된 출력이 나올 수 있었고, non-ragged와 decode 경로에 적용된 2025년 4월 수정이 ragged+paged 분기에는 빠져 있었다. - 이 버그는 Qwen3.6-27B-FP8, DeepSeek-V4, Gemma 4처럼 레이어별 KV cache scale을 체크포인트에 저장하는 FP8 모델에 영향을 줄 수 있다.
- PR #24182는 Qwen-VL 계열 이미지 요청에서
release_features()가pixel_values만 해제하고 GPU 상의mrope_positions,mrope_position_delta,mrope_position_delta_repeated_cache를 놓쳐 메모리가 누적되던 누수를 수정했다. 이 PR은 검토 중이다. - 반복 이미지 요청 시 GPU 메모리가 계속 증가해 결국 OOM으로 이어질 수 있다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.