오픈소스 AI 게이트웨이 'Experiential' 공개, 트래픽 기반 라우팅 최적화 지원

오픈소스 프로젝트 Experiential이 공개됐다. 이 도구는 호스팅, BYOK(Bring Your Own Key), 로컬 모델을 통합하는 OpenAI 호환 API 게이트웨이로, 에이전트 워크플로우를 관리한다.

주요 기능 및 특징

• 통합 API 및 제어: 단일 OpenAI 호환 API를 통해 다양한 모델 공급자(OpenAI, Anthropic, Gemini 등)에 접근하며, 사용자별 모델 사용 권한과 예산 제한을 설정할 수 있다.
• 트래픽 기반 최적화: 실제 프로덕션 트래픽(OpenTelemetry 트레이스)을 수집하여 품질, 속도, 비용을 기준으로 최적화된 커스텀 라우터나 모델을 생성한다. exp build 명령어를 통해 트레이스 파일을 기반으로 프로젝트를 빌드하고, exp optimize로 오픈소스 모델을 파인튜닝할 수 있다.
• 유연한 배포: 로컬 게이트웨이 실행(pip install experiential)과 플랫폼.experientiallabs.ai를 통한 호스팅 게이트웨이 사용을 모두 지원한다.

활용 방안

개발자는 기존 LLM 트레이스를 업로드하거나 실시간 트래픽을 수집해, 특정 사용 사례에 맞춰 모델 선택 로직을 자동으로 최적화할 수 있다. 이는 비용 효율성과 응답 속도를 동시에 고려해야 하는 AI 에이전트 개발 환경에서 인프라 관리 부담을 줄여준다.