237개 LLM 공급업체 통합 라우터 공개

OpenAI 호환 엔드포인트를 통해 237개의 LLM 공급업체를 단일 인터페이스로 연결하는 MIT 라이선스 오픈소스 게이트웨이가 출시되었습니다. 이 도구는 특정 API의 **Rate Limit(속도 제한)**이나 서버 오류(500 에러) 발생 시, 사전에 설정된 우선순위(구독 모델 → API 키 → 저가형 모델 → 무료 모델)에 따라 밀리초 단위로 다음 타겟으로 요청을 자동 전환합니다.

주요 기능은 다음과 같습니다:

• 17가지 라우팅 전략: 우선순위, 가중치, 라운드 로빈, 비용 최적화, 코딩 최적화 등 지원
• 3단계 회복력 레이어: 공급업체별 회로 차단기(Circuit Breaker), 키별 쿨다운, 모델별 잠금 기능 제공
• 고급 압축 파이프라인: LLMLingua-2, RTK 필터 등을 활용한 10단계 압축 기술을 통해 컨텍스트를 60~90%까지 절감하면서도 코드와 JSON 데이터의 무결성 유지
• 간편한 통합: Claude Code, Cursor, Cline, Roo 등 13개 이상의 코딩 도구를 한 줄의 명령어로 즉시 연결 가능

이 게이트웨이는 90개 이상의 무료 티어를 지원하며, 이를 통해 월간 약 16억 개의 무료 토큰을 활용할 수 있는 환경을 제공합니다.