AI Briefing#llm-routing
#llm-routing와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-routing와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
모델 전환 최소화 정책으로 클라우드 API 비용 15.8%를 절감했다.
Vercel AI Gateway의 Virtual Models가 코드 변경 없이 모델 전환을 지원한다.
에이전트 모델 전환 시 KV 캐시 한계와 대화 상태 관리 전략을 벤치마크로 제시했다.
Absorbing Markov Chain 기반 의도 분류가 캐시 시 1.5ms, 동적 시 22ms의 지연으로 100% 정확도를 달성했다.
AI Gateway가 신뢰도 기준 미달 시 보조 모델로 전환하는 베타 기능을 추가했다.
Cloudflare가 비용 효율적인 모델로 자동 라우팅하는 AI Gateway Auto Router를 베타 출시했다.
LiteLLM의 불필요한 기능을 제거하고 2,900줄 규모로 경량화한 오픈소스 라이브러리 Litelm이 공개되었다.
NVIDIA가 LLM 호출을 최적 모델로 자동 라우팅하는 오픈소스 도구 Switchyard를 공개했다.
Claude Code 등 9개 코딩 에이전트가 모델 설정을 공유하는 로컬 게이트웨이 'my-free-code'가 공개됐다.
OpenRouter에서 동일 모델이라도 Provider에 따라 벤치마크 점수, 비전 인식, 파라미터 지원 등 성능과 기능이 크게 달라질 수 있음을 실측 데이터로 입증했다.
Weave가 로컬 임베딩 모델을 활용해 코딩 에이전트의 API 요청마다 최적의 LLM을 자동 선택하는 오픈소스 라우팅 프록시 Weave Router를 공개했다.
로컬 AI 개발 도구 Lemonade가 15개 엔진 지원과 시맨틱 라우팅 기능을 추가한 여름 업데이트를 공개했다.
LLM 비용 최적화를 위한 16개 이상의 라우터 라이브러리와 벤치마크인 LLMRouter 및 xRouteBench가 공개되었다.
Nvidia가 Nemotron 3.5 Lightning과 Switchyard를 통해 작업 단계별 최적 모델을 라우팅하여 AI 에이전트 비용을 1/3로 절감했다.
Switchyard가 에이전트 호출 93%를 30B 모델로 처리해 비용을 74% 줄였다.
LG CNS가 AWS AI-DLC를 System Maintenance 환경에 맞게 재설계했다.
Ramp이 온라인 학습 기반 동적 LLM 라우팅으로 AI 비용을 25% 이상 절감하고 오류율도 낮췄다.
Weave Router가 프롬프트를 50ms 내 최적 모델로 라우팅해 비용 40-70%를 절감하는 단일 엔드포인트 프록시를 공개했다.
사용자의 요청에 따라 최적의 LLM을 자동으로 선택해주는 오픈소스 프록시 도구인 RouterArena를 공개했다.
DeepSeek가 저렴한 가격을 앞세워 토큰 점유율을 급격히 늘리는 사이, Anthropic은 높은 비용에도 불구하고 실제 AI 지출 규모를 주도하고 있다.
OpenRouter가 1억 1,300만 달러 규모의 Series B 투자를 유치하며 멀티 모델 AI 인프라 확장에 나선다.
OpenRouter가 NVIDIA와 Alphabet의 CapitalG 등으로부터 1억 1,300만 달러 규모의 Series B 투자를 유치했다.
Bifrost가 15개 이상 프로바이더와 1,000개 이상 모델을 묶는 OpenAI 호환 Gateway를 공개했다.