litellm: 100개 LLM API를 OpenAI 포맷 하나로 통합 관리

OpenAI, Anthropic, Azure, Bedrock 등 100개 이상의 LLM 제공자를 단일 인터페이스로 연결한다. 각기 다른 SDK와 인증 방식, 요청 형식 때문에 발생하던 코드 복잡도를 OpenAI 호환 포맷으로 통일해 제거한다.

Python SDK로 직접 통합하거나 Proxy Server를 중앙 게이트웨이로 배포해 팀 전체의 LLM 트래픽을 제어한다. 가상 키 발급, 비용 추적, 가드레일, 로드 밸런싱, 로깅 기능이 기본 탑재되어 운영 환경의 관리 부담을 줄인다.

Rust 코어 기반으로 설계되어 초당 1,000 요청(RPS) 환경에서 P95 지연시간 8ms를 달성한다. Netflix 등 대규모 서비스에서도 채택된 안정성을 바탕으로, MCP 서버 연결과 A2A 에이전트 호출까지 지원 범위를 확장했다.