GS리테일, AWS 협업으로 전사 AI Gateway 구축…인증·라우팅·계정 자동화 사례 공개

GS리테일이 AWS와 협업하여 전사 AI Gateway를 구축한 사례를 공개했다. 생성형 AI 도입이 확산되면서 API Key 분산, 비용 가시성 부족, 보안 거버넌스 어려움 등 운영 문제가 발생하자, 이를 해결하기 위해 단일 운영 플랫폼을 구축했다.

AI Gateway 아키텍처와 핵심 기능

GS리테일은 Amazon Bedrock과 LiteLLM을 기반으로 AI Gateway를 구축했다. 이 Gateway는 AI 어시스턴트(Claude Code, Cowork 등)와 Bedrock 사이의 중간 계층으로 작동하며, 사내 SSO 연동, 비용 추적, 감사 로깅, 사용량 제한 등을 중앙에서 관리한다.

주요 설계 원칙은 다음과 같다:

• 인증 통합: 사내 SSO와 연동된 Virtual Key를 발급하여 사용자, 조직, 프로젝트 단위의 권한 및 예산을 통제한다.
• 모델 추상화: 애플리케이션이 특정 모델에 종속되지 않도록 엔드포인트를 표준화하여, 모델 교체나 신규 서비스 추가 시 애플리케이션 수정 없이 대응 가능하게 한다.
• 보안 및 거버넌스: 인터넷 경유 없이 PrivateLink를 통해 AWS 백본 네트워크로만 트래픽을 전달하며, 모든 호출에 대한 상세 로그를 수집한다.

크로스 계정 라우팅과 계정 자동화

대규모 조직의 특성을 반영하여, 팀별 독립적인 AWS 계정 구조를 유지하면서도 중앙 통제가 가능한 크로스 계정 라우팅 방식을 채택했다. AI Gateway는 AWS STS를 통해 각 팀 계정의 역할(Role)을 위임받아 Bedrock을 호출하므로, 장기 자격 증명을 보관하지 않고도 안전한 접근이 가능하다.

또한, 신규 계정 생성과 권한 할당 과정을 Account Pipeline으로 자동화했다. 이를 통해 개발자가 요청하면 수 분 내에 AWS 계정 생성, 네트워크 연결, 권한 설정이 완료되어 AI 서비스 도입 속도를 높였다.

운영 효과 및 향후 과제

이 구조를 통해 GS리테일은 토큰 기반 비용의 실시간 가시성을 확보하고, 팀별 예산 초과 시 자동으로 요청을 차단하는 거버넌스 체계를 마련했다. 또한, 비개발 직원을 위한 클라이언트 설정 자동화와 설치 스크립트 배포로 도입 장벽을 낮췄다.

향후 2부에서는 로그 저장 구조 최적화와 Amazon Bedrock AgentCore를 활용한 AI 에이전트 통제 방안을 다룰 예정이다.