CJ올리브네트웍스, AWSome AI Gateway 기반 전사 LLM Gateway 구축

• Amazon Bedrock, Claude Platform on AWS, 사내 오픈모델을 단일 엔드포인트로 연결해 전사 LLM 호출을 중앙 게이트웨이에서 관리함
• 인증, 예산 확인, 모델 전환, 호출량 제한, 비용 기록 등 6단계 거버넌스 정책을 모든 요청에 일관되게 적용함
• 예산 소진 시 유료 모델 차단 대신 사용자 Credit이 차감되지 않는 사내 오픈모델로 자동 전환해 업무 중단 방지
• Amazon EKS와 AWS Fargate 기반 스테이트리스 구조로 트래픽에 따른 자동 확장 및 컴포넌트별 장애 격리 구현
• gateway-cli를 통해 사내 SSO 로그인 한 번으로 VK 발급 및 Claude Code 연결까지 자동화해 개발자 온보딩 간소화

아키텍처 및 운영

• VK와 예산 카운터는 Amazon ElastiCache for Valkey, 사용 이력은 Amazon Aurora PostgreSQL, 프롬프트 본문은 Amazon S3에 분리 저장
• IDC 방화벽 대응을 위해 Private NAT Gateway와 SNAT를 활용해 고정 사설 IP로 출발지 주소 통일
• Gateway Proxy, Admin API, Cost Worker 등 역할을 분리해 기능별 독립 배포 및 장애 시 영향 범위 최소화

개발자 경험

• gateway-cli login 명령어로 사내 SSO 인증, VK 발급, Claude Code 접속 설정을 자동 처리
• api-key-helper 구성으로 VK 만료 전 자동 재발급하여 개발자의 수동 키 관리 부담 제거
• 프롬프트 입력·출력 기록은 암호화 저장 및 감사 로그 적용으로 데이터 보안과 추적성 확보