Switchyard: Claude Code를 오픈소스 모델로 돌리는 Rust 프록시

Claude Code나 Codex 같은 코딩 에이전트를 vLLM, NVIDIA NIM, Ollama 등 오픈소스 모델로 전환하는 Rust 기반 프록시다. 클라이언트는 기존 OpenAI 또는 Anthropic API 포맷을 유지한 채 요청을 보내면, Switchyard가 이를 백엔드 모델이 이해하는 형식으로 변환해 전달한다. 응답도 클라이언트가 기대하는 형태로 다시 번역되어 되돌아온다.

단순 중계가 아닌 지능형 라우팅을 지원한다. LLM 분류기, 시그널 기반 단계 라우터, 에스컬레이션 라우터, 랜덤 분배 등 다양한 알고리즘을 통해 트래픽을 분산하거나 A/B 벤치마킹에 활용할 수 있다. Prometheus 메트릭을 통해 요청, 에러, 지연 시간, 토큰 사용량 등 운영 지표를 실시간으로 추적할 수 있다.

독립 서버로 실행하거나 Rust 라이브러리로 내장하는 두 가지 방식이 제공된다. 라이브러리 방식은 자체 HTTP 스택을 가지지 않고 라우팅 알고리즘만 노출해 기존 게이트웨이나 에이전트 런타임에 쉽게 통합할 수 있다. 현재 pre-alpha 단계로 API와 알고리즘이 v1.0 이전까지 크게 변경될 수 있으며, 프로덕션 사용은 권장되지 않는다.

코스트와 성능 최적화를 위해 여러 모델 간 트래픽을 유연하게 분배하고 싶은 개발자에게 적합하다. 특히 클로즈드 소스 API에 종속되지 않고 오픈소스 모델을 코딩 워크플로에 적용하려는 팀이 유용하게 쓸 수 있다. Apache 2.0 라이선스로 공개되어 있다.