LiteLLM의 라우팅·번역 기능만 추출한 경량 라이브러리 'Litelm' 공개

기존 LiteLLM의 방대한 코드(100k+ LOC) 중 핵심인 모델 라우팅과 메시지 번역 기능만 추출한 경량 라이브러리 Litelm이 공개되었습니다. 프록시 서버, 캐싱, 비용 추적 등 부가 기능을 제거해 2,900 LOC 수준으로 축소했으며, 의존성은 openai와 httpx 두 개뿐입니다.

주요 특징 및 호환성

• API 호환성: LiteLLM과 동일한 함수명, 인자, 응답 타입을 지원하여 import 구문 변경만으로 전환 가능합니다.
• 지원 기능: 모델 라우팅, 메시지 번역(Anthropic, Bedrock 등), 스트리밍, Tool use, Embeddings, OpenAI Responses API 등을 지원합니다.
• 제외 기능: Load balancing, Fallbacks, Proxy server, Caching, Token counting, Image gen/Audio/OCR 등은 제외되었습니다.
• 프로바이더: 총 19개 프로바이더를 지원하며, OpenAI 호환 엔드포인트는 api_base를 통해 연결할 수 있습니다.

검증 상태 및 테스트

현재 Alpha 단계로, LiteLLM의 최신 변경사항(commit 649eb2d ~ 9a715df2)을 감사하여 호환성을 확보했습니다. 로컬 테스트 262개와 라이브 프로바이더 테스트 45개, DSPy 통합 테스트 10개가 모두 통과되었습니다. MIT 라이선스로 공개되었으며, AI 보조 개발 과정을 투명하게 공개하고 있습니다.