AI Briefing#sglang
#sglang와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#sglang와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Prefixwise v0.10.0이 LLM 프롬프트 캐시 미스를 진단하고 수정했다
DSpine이 Qwen3-8B 스펙ulative 디코딩 처리량을 23.3% 높였다
Modular가 LLM 추론 지표와 최적화, 운영 비용을 다루는 57페이지 무료 핸드북을 공개했다.
humans&의 Weight Teleportation이 RL 샘플러 일시 정지 시간을 0.23초로 단축했다.
Cloudflare GLM-5.3 버그로 타 고객 데이터가 155건 노출되어 수정함
llm-d 1.0이 멀티테넌트 QoS와 제로다운타임 업그레이드를 갖춘 프로덕션 LLM 추론 스택을 출시했다
기본 설정에서는 성능이 비슷하지만, 출력 길이와 접두사 재사용 여부에 따라 최적 엔진이 달라진다.
Reflection이 100만 토큰 컨텍스트를 지원하는 501B MoE 오픈 모델 Beam을 공개했다.
inclusionAI가 560B 파라미터의 하이브리드 추론 모델 Ling-3.1-flash를 공개했다.
Graphsignal이 추론 엔진의 GPU 커널을 실시간으로 분석하는 graphsignal-top을 출시했다.
Cloudflare가 멀티모달 Clef-omni를 출시하고 Clef-flash 가격을 인하했으며 Clef 속도를 개선했다.
llama.cpp, vLLM, SGLang 등 주요 오픈소스 추론 스택의 기능과 적합 워크로드를 비교 분석했다.
NVIDIA Dynamo가 비전 인코더를 분리해 멀티모달 LLM의 TTFT를 최대 93% 줄이는 서빙 아키텍처를 공개했다.
NVIDIA가 양자화, 가지치기 등 6가지 최적화 기법을 통합한 Model Optimizer를 공개하여 vLLM, TensorRT-LLM 등 추론 엔진용 체크포인트 생성을 지원한다.
SGLang Diffusion 팀이 NVIDIA H200 8대에서 MiniMax-H3 영상 생성 모델을 Cache-DiT와 SubBlock 희소 어텐션으로 최대 6.24배 가속화했다.
LFM2.5 모델에 DSpark 스펙ulative decoding 적용으로 GPU 및 온디바이스 추론 속도 최대 3.2배 향상.
RadixArk, 프론티어 규모 RL 학습을 위한 풀스택 시스템 Miles v0.1을 공개했다.
Cloudflare가 Kimi와 GLM의 GPU 메모리 사용량을 줄이고 처리량을 높였다.
BTB가 반복 프리픽스 버스트를 예측해 KV 캐시를 GPU HBM에 선제 복제한다.
SGLang은 복잡한 LLM 및 Diffusion 워크플로우를 자동화하기 위해 에이전트용 실행 가능한 스킬(SKILL.md)을 도입하고 있다.