#inference-gateway와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
GKE Inference Gateway가 Prefix Caching과 모델 인식 라우팅을 통해 LLM 추론 성능을 획기적으로 개선했다.