GS리테일, 전사 AI Gateway 운영 사례: 예산 라우팅과 자체 가드레일 구현

GS리테일이 AWS와 협력하여 구축한 전사 AI Gateway의 운영 및 거버넌스 사례를 공개했다. 단순한 API 프록시를 넘어 수천 명 규모의 실사용을 견디기 위해 예산 기반 자동 라우팅, 자체 가드레일, 관측 파이프라인 등을 직접 커스터마이징했다.

사용자 온보딩 자동화

비개발 직군도 쉽게 AI 도구를 설치할 수 있도록 클라우드 인프라팀이 .NET 기반 설치 번들을 제작했다. 사용자는 Install Center에서 셀프서비스로 Virtual Key를 발급받고, 설치기가 자격증명을 자동으로 설정 파일에 기록하여 수동 복사 오류를 제거했다.

예산 관리와 자동 모델 라우팅

생성형 AI 비용 폭주를 막기 위해 본부별 비용 한도를 설정하고, 예산 임계값 도달 시 고성능 모델에서 경량 모델로 자동 전환하는 라우팅 정책을 적용했다. 팀 예산 풀 내에서 리더가 미사용 예산을 헤비 유저에게 이관할 수 있도록 하여 업무 연속성을 유지한다.

자체 가드레일 구현

Amazon Bedrock Guardrails의 호출당 비용 문제를 해결하기 위해 Gateway 레벨에 자체 가드레일을 구현했다. LiteLLM Proxy의 CustomLogger를 활용해 요청 전 PII 탐지 및 차단(Input Guard)과 응답 후 검사(Output Guard)를 수행하며, 전 호출에 대한 민감 정보 필터링을 비용 없이 적용했다.

관측 파이프라인과 데이터 저장

감사 로그는 성격이 다른 전문과 메타데이터로 분리 저장했다. 메타데이터는 Amazon DynamoDB에 저장해 조회 성능을 최적화하고, 프롬프트 전문은 암호화된 Amazon S3에 보관해 접근 통제를 강화했다. 또한 Leader Lounge 대시보드를 통해 경영진이 조직별 AI 활용 현황과 비용을 실시간으로 확인할 수 있게 했다.