AI BriefingvLLM 취소 요청 시 175개 토큰 누출
Your AI app may be paying for answers nobody reads. We measured what happens after a user presses stop
·2026.10.23 10:49
핵심 내용
vLLM에서 연결 미종료로 최대 175개 토큰이 낭비되고 정시 답변률이 11%로 떨어졌다
자세히 보기
- 사용자가 정지를 눌러도 애플리케이션이 연결을 종료하지 않으면 vLLM이 토큰 생성을 계속하여 컴퓨트 리소스를 낭비함
- 취소 후 연결을 5초간 유지하면 약 44개의 추가 토큰이 생성되며, 끝까지 읽고 버리면 약 53개의 추가 토큰이 발생함
- 긴 자연어 답변의 경우 취소된 요청당 약 175개의 추가 토큰이 누출됨
- 초기 연결을 닫지 않고 재시도하면 작업당 약 148개의 낭비 토큰이 발생하고, 정시 답변률이 38%에서 11%로 하락함
- 주요 해결책은 애플리케이션 사용이 끝나면 스트림을 닫아 재시도 중 중복 생성을 방지하는 것임
- 테스트는 L4와 A10G GPU, 두 가지 모델, 합성 프롬프트를 사용한 vLLM 환경에서 수행되었으며, llama.cpp, Ollama, TGI, 소비자용 GPU는 테스트하지 않음
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
