멀티 LLM 관리를 위한 로컬 게이트웨이 OmniRoute

OmniRoute는 여러 AI 제공자의 SDK와 엔드포인트를 하나로 통합하는 로컬 우선(local-first) 프록시 게이트웨이입니다. 사용자는 http://localhost:20128/v1이라는 단일 OpenAI 호환 엔드포인트만 바라보면 되며, 도구는 이를 통해 다양한 모델을 사용할 수 있습니다.

주요 핵심 기능:

• 4단계 자동 폴백(Fallback): 구독 모델(Claude Code 등) → API 키(DeepSeek 등) → 저비용 모델 → 무료 티어 순으로 요청을 자동 전환하여 한도 초과나 장애에 대응합니다.
• 다양한 라우팅 전략: 우선순위 기반, 비용 최적화(cost-optimized), 잔여 한도 기반(headroom), 그리고 여러 모델의 답을 종합하는 Fusion 전략 등 18가지 전략을 제공합니다.
• 토큰 압축 엔진: RTK 및 Caveman 엔진을 통해 반복적인 도구 출력(git diff, 로그 등)을 압축하여 토큰 사용량을 최대 **89%**까지 절감합니다.
• 회복력 및 관리: 서킷 브레이커를 통한 장애 격리, 특정 키의 한도 소진 시 건너뛰는 쿨다운, 팀 단위 사용을 위한 쿼터 공유(Quota-Share) 기능을 지원합니다.

TypeScript 기반 오픈소스로 Node.js 환경에서 동작하며, Docker, 데스크톱 앱, PWA 등 다양한 환경에서 실행 가능합니다.