AI Briefing#model-serving
#model-serving와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#model-serving와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
NVIDIA가 vLLM로 두 대의 DGX Station에서 GLM-5.3 NVFP4 서빙 가이드를 공개했다.
NVIDIA가 공개한 Reshard 연산이 분리 배치 RL 환경의 가중치 전송 시간을 최대 5.7배 단축했다.
Amazon이 Strands Decider E4B로 교체해 티켓 처리 비용을 98% 절감했다
BigMoeOnEdge가 16GB 노트북에서 125B MoE 모델을 플래시 저장소에 배치해 실행한다
INIT가 대화 중 코어를 4.3초 만에 스왑하며 87.9% 캐시 유지율을 달성했다
vLLM이 PyTorch 네이티브 TPU 백엔드를 제공해 코드 수정 없이 TPU v7x 구동이 가능해졌다
TorchNeuron이 AWS Trainium에 네이티브 PyTorch 백엔드를 도입했다.
Cortexist가 Gemma 4 기반 하이브리드 음성 스택을 공개해 로컬 벤치마크에서 최대 99.0%의 시작 턴 정확도를 달성했다.
TextCLF가 캘리브레이션 불필요한 TQ 양자화 기법과 오픈소스 Quant Factory를 공개했다.
llama.cpp, vLLM, SGLang 등 주요 오픈소스 추론 스택의 기능과 적합 워크로드를 비교 분석했다.
인텔이 OpenVINO 2026.4를 공개하며 Gemma 4, Qwen 3.5/3.6 등 최신 모델 지원과 Multi-Token Prediction 추론 가속 기능을 추가했다.
Human-Agent-Society가 에이전트 서빙 중 사용자 피드백으로 모델 가중치와 하네스를 실시간 갱신하는 오픈소스 인프라 'Reef'를 공개했다.
vLLM v0.28.0이 Kimi-K3와 DeepSeek V4를 위한 대규모 성능 최적화 및 새로운 추론 기능을 공개했다.
Qwen3-TTS를 최적화해 단일 H100에서 50ms 미만 지연과 10 RPS 처리 성능을 달성했다.
LLM 비용 최적화를 위한 16개 이상의 라우터 라이브러리와 벤치마크인 LLMRouter 및 xRouteBench가 공개되었다.
Muse Glimmer가 24GB급 메모리에서 구동 가능한 30B open-weight 에이전트 모델로 공개됐다.
Hugging Face가 Baseten을 Inference Provider로 추가해 서버리스 모델 추론을 지원한다.