Vidai, LLM 비용 및 라우팅 도구 출시
Vidai Community is now available: one Rust binary for cost attribution, guardrails and multi-provider routing on every LLM call
·2026.05.30 18:03
LLM 호출의 비용 추적, 가드레일, 멀티 프로바이더 라우팅을 지원하는 Rust 기반 도구 Vidai Community가 출시되었다.
LLM 트래픽의 비용 관리와 보안을 통합적으로 처리할 수 있는 Vidai Community가 출시되었습니다. 이 도구는 단일 Rust 바이너리 형태로 제공되며, 기존 OpenAI, Anthropic, Google GenAI SDK의 base_url만 변경하면 즉시 통합할 수 있습니다.
주요 기능은 다음과 같습니다:
- 멀티 프로바이더 라우팅: Anthropic SDK를 사용하더라도 OpenAI로 라우팅할 수 있는 양방향 네이티브 번역 지원.
- 비용 추적 및 예산 관리: 사용자, 팀, 앱별로 비용을 추적하며, 설정된 예산 초과 시 즉시 호출을 차단하는 하드 버젯(Hard budget) 기능 제공.
- 가드레일 및 가격 정보: 프롬프트 가드레일 기능과 주요 프로바이더의 최신 가격 정보를 제공하는 무료 레이트 카드(Rate-card) 서비스 포함.
성능 측면에서도 뛰어난 효율성을 보여줍니다. 용량은 25MB에 불과하며, 중간값 기준 1.95ms의 낮은 오버헤드와 단일 노드에서 21,803 RPS를 처리할 수 있는 성능을 검증했습니다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.