#guidellm와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
지연 SLO 기반 최대 동시성 탐색과 WEKA/OTEL 형식의 에이전트 트레이스 재생 기능이 추가됐다.
버스트 트래픽에 맞춰 vLLM을 튜닝·오토스케일링해 처리량과 지연을 줄였다.
AI Briefing