AI Briefing#litellm
#litellm와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#litellm와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
AI Gateway와 AI Studio로 LLM 및 Agent 호출을 통합 관리하며 비용과 보안을 통제한다.
공식 파이프라인 조작으로 악성 LiteLLM v1.107.0이 배포되어 자격 증명 탈취 위험이 발생했다.
LiteLLM 1.107.0 PyPI 릴리스가 자격 증명 탈취 및 백도어 삽입으로 확인됐다.
LiteLLM의 불필요한 기능을 제거하고 2,900줄 규모로 경량화한 오픈소스 라이브러리 Litelm이 공개되었다.
GS리테일이 AWS와 협력해 구축한 전사 AI Gateway의 운영 및 거버넌스 사례를 공개했다.
GS리테일이 AWS와 협업해 LiteLLM 기반 전사 AI Gateway를 구축하고 인증, 라우팅, 계정 관리를 자동화한 사례를 공개했다.
Amazon Bedrock 도입 시 LLM 게이트웨이로 인해 발생하는 호출자 식별 및 모델 거버넌스 사각지대 해결 방안을 제시한다.
F&F는 Amazon Bedrock과 LiteLLM을 결합해 키 발급부터 비용 차단까지 관리하는 사내 LLM 플랫폼을 구축했다.
단일 LLM Gateway 아키텍처를 통해 다양한 AI 코딩 에이전트의 비용, 보안, 관측성을 통합 관리할 수 있다.
LLM 운영 비용을 최대 80%까지 절감할 수 있는 프롬프트 캐싱, 모델 라우팅 등 8가지 핵심 기술과 도구를 정리했다.
GoModel이 Go 단일 바이너리로 11개 AI 프로바이더를 통합하는 OpenAI 호환 게이트웨이를 공개했다.
Meta가 데이터 유출 사고를 일으킨 데이터 계약 업체 Mercor와의 협업을 무기한 중단했다.
AI 채용 스타트업 Mercor가 오픈소스 LiteLLM 프로젝트의 공급망 공격으로 인한 사이버 공격 피해를 확인했다.
AI는 공격 표면을 넓히고 공격 속도를 가속화하며 사이버 보안 산업을 기하급수적으로 확장시키고 있다.
Vercel에서 LiteLLM 서버를 배포하여 Vercel AI Gateway를 포함한 다양한 LLM 제공업체에 연결할 수 있게 되었다.