AI Briefing#model-routing
#model-routing와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#model-routing와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Gemini Decisions API가 1,000개 질문에 150~250ms 내 점수를 반환한다
OpenRouter가 최대 4배 성능 향상된 Auto 라우터를 출시했다.
Thoughtworks Technology Radar Vol 35가 AI 에이전트 인프라 등 4대 핵심 트렌드를 제시했다
Baseten이 Grid, Sandboxes, Loops를 출시해 추론 플랫폼 기능을 확장했다
AI21 분석 결과 공개 벤치마크가 작업 난이도를 과대평가해 모델 라우팅 비효율을 초래했다.
Open SWE 실험에서 새 미들웨어가 품질 유지하며 코딩 작업당 중간 비용을 64% 줄였다.
GitHub Copilot이 VS Code와 CLI 등에서 비용과 품질을 조절하는 Tiers of Auto 기능을 전 고객에게 출시했다.
범용 LLM의 통합 구조가 기능별 분리 아키텍처로 전환되며, 저비용 추론이 에이전트 경제성을 재편하고 있다.
TypeSafe AI가 LLM보다 200배 빠르고 400배 저렴한 구조화 결정 모델 'Jev'를 공개했다.
Tailscale이 Vercel AI Gateway와 Sandbox를 활용해 고객용 AI 모델 라우터 Aperture를 구축했다.
인프랩이 Envoy AI Gateway를 도입해 모델 추상화와 등급제 라우팅으로 LLM 비용을 78% 절감했다.
사용자 트래픽을 분석해 모델 라우팅을 최적화하는 오픈소스 AI 게이트웨이 Experiential이 공개됐다.
Switchyard가 에이전트 호출 93%를 30B 모델로 처리해 비용을 74% 줄였다.
Cursor Router가 실제 개발 데이터를 바탕으로 작업별 모델을 선택하고 비용을 줄인다.
Manifest가 7,000개 클라우드 사용자 경험을 바탕으로 LLM router를 폐기했다.
여러 모델을 동시에 실행하여 최적의 모델을 빠르게 선택함으로써 추론 비용을 절감하는 라우터 서비스가 출시되었습니다.
Cactus가 Gemma 4 E2B에 68k 파라미터 프로브 레이어를 추가해 모델 자체 오류 감지 및 클라우드 라우팅 신호로 활용하는 하이브리드 추론 시스템을 공개했다.
GLM 5.2 모델이 Novita를 통한 AI Gateway 경로에서 7월 24일까지 35% 할인된다.
AI 에이전트 시스템의 모델 라우팅은 모델 선택 문제가 아니라 캐싱, 인프라, 규정을 포함한 시스템 최적화 문제다.