GS Neotek, Amazon Bedrock 기반 Claude Code 도입기: LLM Gateway 없는 경량 사용자 통제 방안

GS Neotek은 AWS 프리미어 파트너로서 다수의 고객에게 클라우드 현대화 및 생성형 AI 도입을 지원하고 있다. 조직 규모가 커지면서 코딩 어시스턴트 도입 시 사용자별 비용 통제와 보안 관리가 필수 요건으로 부상했다.

전통적으로 이러한 요구사항을 충족하기 위해 LLM Gateway를 도입했으나, 이는 개발 공수, 유지보수 부담, 상시 인프라 비용, 그리고 오픈소스 솔루션의 취약점 리스크를 수반한다. 특히 LiteLLM과 같은 오픈소스 Gateway는 인증 우회, SQL 인젝션 등 심각한 보안 이슈가 보고되고 있어 주의가 필요하다.

GS Neotek은 LLM Gateway를 대체할 경량 비용 통제 아키텍처를 제안한다. 이 방식은 프록시로 요청을 실시간 가로채는 대신, Amazon Bedrock의 모델 호출 로그를 주기적으로 집계하여 예산 초과 사용자를 준실시간으로 차단한다.

핵심 구성 요소는 다음과 같다.

• 비용 계산: Bedrock Model Invocation Logging을 통해 S3 또는 CloudWatch Logs에 저장된 로그에서 identity.arn과 토큰 사용량(inputTokenCount, outputTokenCount 등)을 추출해 사용자별 비용을 산출한다.
• 차단 로직: 집계된 비용이 예산을 초과한 사용자를 식별하여 접근을 제한한다.
• 제약 사항: 이 아키텍처는 요청 단위 실시간 차단(pre-request enforcement)이 불가능하며, 로그 적재 및 배치 주기 때문에 차단 반영까지 수 분의 지연이 발생한다. 또한 모든 호출이 bedrock-runtime 경로를 경유해야 하며, Anthropic API 직접 호출 등은 로그에 남지 않아 통제 대상에서 제외된다.

이 방식은 약 200명 규모의 중견 조직이나, 본격적인 Gateway 도입 전 시범 운영을 원하는 조직에 적합하다. 복잡한 인프라 구축 없이도 빠르게 코딩 어시스턴트를 도입하고 비용 리스크를 관리할 수 있는 대안이 된다.