AI Briefing우아한형제들, AI Gateway와 AI Studio로 LLM 및 Agent 거버넌스 체계 구축
·2026.11.06 14:00
핵심 내용
AI Gateway와 AI Studio로 LLM 및 Agent 호출을 통합 관리하며 비용과 보안을 통제한다.
자세히 보기
- LiteLLM 기반 AI Gateway로 LLM 및 MCP 호출을 통합하고, AI Studio에서 신청과 승인을 자동화해 거버넌스 체계를 구축함
- 프로젝트 A에 프롬프트 캐싱을 적용해 캐시 비율을 5%에서 97%로 높이고 요청 1건당 비용을 84% 절감함
- Agent는 채널 및 사용자 허용, 보안 검토를 거친 MCP 도구만 사용하며, 요청자 계정의 권한으로 데이터 조회를 실행함
- AI Gateway와 AI Studio를 별도 AWS 계정과 VPC로 분리하고, 무중단 배포 및 대체 모델 연동으로 플랫폼 자체를 보호함
- 비용은 Gateway에서 실시간 집계해 예산 경보를 보내고, 민감정보는 사내 자체 서빙 모델로 처리하며 PII 가드레일을 적용함
- 향후 Agent Registry, 세션 비용 제한, Agent 단위 인증 및 인가, 가드레일 확대, 자동 승인 범위 확대를 계획함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
