sglang: 전 세계 40만 GPU를 굴리는 LLM 추론 엔진

단일 GPU부터 대규모 분산 클러스터까지, LLM과 멀티모달 모델의 저지연·고처리량 추론을 담당하는 서빙 프레임워크다. RadixAttention 기반의 프리픽스 캐싱과 제로 오버헤드 스케줄러로 반복적인 요청 처리 속도를 극대화한다.

Llama, DeepSeek, Qwen 등 주요 오픈소스 모델은 물론 Diffusion 모델과 임베딩 모델까지 폭넓게 지원한다. NVIDIA, AMD, Google TPU, Intel CPU 등 다양한 하드웨어 환경에서 구동되며, FP4/FP8 양자화와 Speculative Decoding으로 성능을 최적화한다.

xAI, NVIDIA, Alibaba 등 글로벌 기업들이 프로덕션 환경에서 채택하며 하루 수조 개의 토큰을 생성하는 데 사용되고 있다. AReaL, verl 등 주요 강화학습 프레임워크와 연동되어 모델 훈련용 롤아웃 백엔드로도 활발히 쓰인다.