GoModel - Go로 작성된 고성능 AI gateway

GoModel은 Go 단일 바이너리로 배포되는 경량 AI gateway다. OpenAI, Anthropic, Gemini, Groq, xAI 등 11개 프로바이더를 하나의 OpenAI 호환 API로 묶는다.

Docker 컨테이너에 API 키만 환경 변수로 넣으면 프로바이더를 자동 감지해 바로 사용할 수 있다. 지원 엔드포인트는 /v1/chat/completions(스트리밍), /v1/responses, /v1/embeddings, /v1/models, /v1/files, /v1/batches까지 넓게 잡았다.

게이트웨이가 처리하지 못하는 기능은 /p/{provider}/... 네이티브 패스스루로 업스트림에 그대로 전달한다. 응답 캐시는 2계층으로 구성된다.

• Layer 1: 요청 본문 해시 기반 정확 매칭 캐시로 서브밀리초 조회
• Layer 2: 임베딩 벡터 KNN 기반 시맨틱 캐시로 고반복 워크로드에서 60~70% 적중률을 제시
• 벡터 백엔드로 Qdrant, pgvector, Pinecone, Weaviate를 지원한다.

운영 기능도 포함된다. 대시보드에서 토큰 사용량, 비용, 감사 로그, 프로바이더 상태, 모델 오버라이드를 확인할 수 있고, Prometheus 메트릭, 감사 로깅, 가드레일 파이프라인을 환경 변수로 켤 수 있다. 인증은 GOMODEL_MASTER_KEY로 처리하며, 저장소는 SQLite, PostgreSQL, MongoDB 중에서 선택할 수 있다.

같은 프로바이더의 복수 인스턴스도 접미사 환경 변수로 등록 가능하다. 0.2.0 로드맵에는 인텔리전트 라우팅, DeepSeek V3·Cohere 추가, user_path별 예산 관리, 클러스터 모드가 포함됐다. 라이선스는 MIT다.