AI Briefing#llm-gateway
#llm-gateway와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-gateway와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
CJ올리브네트웍스가 AWS 기반 LLM Gateway로 전사 AI 사용의 통제와 편의성을 동시에 확보했다.
ScaleDown 모델이 프런티어 모델 대비 최대 467배 비용 절감과 200배 속도 향상을 제공한다.
Envoy AI Gateway가 AAIF 독립 프로젝트 'Agent Router'로 개명했으나 기존 CRD와 CLI 호환성은 유지된다.
인프랩이 Envoy AI Gateway를 도입해 모델 추상화와 등급제 라우팅으로 LLM 비용을 78% 절감했다.
Claude Code의 프롬프트 캐시 TTL 관리와 Amazon Bedrock 등 클라우드 환경에서의 조직 비용 통제 방법을 제시했다.
LangChain이 매니지드 딥 에이전트와 LLM 게이트웨이를 공개 베타로 출시했다.
LangSmith LLM Gateway가 에이전트 모델 호출의 비용, 속도, 데이터 보호를 중앙 관리하는 런타임 제어를 제공한다.
GS Neotek이 LLM Gateway 없이 Amazon Bedrock 로그를 활용해 사용자별 비용을 통제하는 경량 아키텍처를 제시했다.
Amazon Bedrock 도입 시 LLM 게이트웨이로 인해 발생하는 호출자 식별 및 모델 거버넌스 사각지대 해결 방안을 제시한다.
F&F는 Amazon Bedrock과 LiteLLM을 결합해 키 발급부터 비용 차단까지 관리하는 사내 LLM 플랫폼을 구축했다.
한화솔루션이 Amazon Bedrock 위에 LLM Gateway를 구축해 Claude Cowork를 전사 도입했다.
Manifest가 7,000개 클라우드 사용자 경험을 바탕으로 LLM router를 폐기했다.
LangChain이 에이전트의 비용 제한과 데이터 보안을 관리하는 런타임 거버넌스 레이어인 LangSmith LLM Gateway를 공개했다.
다양한 LLM API를 단일 엔드포인트로 통합하고 자동 폴백 및 토큰 압축을 지원하는 로컬 게이트웨이 도구입니다.
Anthropic의 Claude Code에 내장된 LLM Gateway를 AWS 환경에 직접 배포하며 기능과 한계를 상세히 살펴봤다.
Ramp이 온라인 학습 기반 동적 LLM 라우팅으로 AI 비용을 25% 이상 절감하고 오류율도 낮췄다.
기업용 AI 에이전트의 확산에 따라 비용, 제어, 컴플라이언스를 관리하기 위한 LLM 게이트웨이의 중요성이 강조된다.
Claude Code와 같은 AI 도구의 확산에 대비해 Amazon Bedrock을 활용한 인증, 비용 제어, 거버넌스 중심의 LLM Gateway 구축 방안을 제시한다.
에이전틱 AI를 프로덕션 환경에서 안정적으로 운영하기 위한 AgentOps 아키텍처와 파운데이션 요소를 다룬다.
단일 LLM Gateway 아키텍처를 통해 다양한 AI 코딩 에이전트의 비용, 보안, 관측성을 통합 관리할 수 있다.
Vercel에서 LiteLLM 서버를 배포하여 Vercel AI Gateway를 포함한 다양한 LLM 제공업체에 연결할 수 있게 되었다.