AI BriefingFlashStates, GLM-5.3-Flash 프리필 처리량 3.14배 개선
FlashStates: 하이브리드 LLM 에이전트 서빙에서 Prefix Cache 재계산을 줄이는 상태 관리에 대한 연구 및 vLLM 확장
·2026.11.14 18:30
핵심 내용
하이브리드 모델 서빙에서 프리필 TPM을 최대 3.14배 높이고 p90 TTFT를 최대 88% 줄였다.
자세히 보기
- Together AI와 UIUC, UT Austin 연구팀이 하이브리드 LLM 서빙 최적화 도구 FlashStates를 vLLM 확장으로 공개함
- 순환 상태 체크포인트를 KV 블록 경계가 아닌 토큰 위치에 저장하고 상태와 KV를 단일 단위로 평가하여 캐시 미스 재계산을 최소화함
- B200 GPU 2장 환경에서 48개 동시 세션 기준 GLM-5.3-Flash 프리필 TPM 3.14배, p90 TTFT 88.4% 감소 달성
- 작업 집합이 캐시 용량을 초과하는 고동시성 구간에서 이득이 크며, 낮은 부하에서는 처리량 차이가 미미하거나 TTFT가 증가할 수 있음
- Apache-2.0 라이선스로 코드 공개, vLLM v0.33.0 및 Mooncake 0.3.13.post1 포크 기반, B200/GB300용 컨테이너 이미지 제공
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
