AI Briefing#llm-router
#llm-router와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-router와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Speko는 다양한 음성 AI 모델을 성능과 비용에 따라 최적으로 라우팅하는 게이트웨이 서비스다.
LLM 비용 최적화를 위한 16개 이상의 라우터 라이브러리와 벤치마크인 LLMRouter 및 xRouteBench가 공개되었다.
Manifest가 7,000개 클라우드 사용자 경험을 바탕으로 LLM router를 폐기했다.
쿼리의 난이도와 역량을 분석해 최적의 저비용 모델로 연결하는 오픈소스 라우터 Brick이 출시되었습니다.
다양한 LLM 공급업체를 하나의 엔드포인트로 연결하여 API 제한을 우회하는 오픈소스 게이트웨이가 공개되었습니다.
모델 호출 없이 프롬프트 구조를 분석하여 로컬과 클라우드 LLM으로 쿼리를 분배하는 라우터입니다.
오픈소스 LLM 라우터 Manifest를 통해 Claude Code를 Ollama 모델과 연동하여 비용을 절감할 수 있다.