Amazon Bedrock LLM 게이트웨이의 두 가지 사각지대 해결: 호출자 식별과 모델 거버넌스 확보

Amazon Bedrock 앞에 LLM 게이트웨이를 도입하면 관리의 편의성을 얻을 수 있지만, 모든 요청이 게이트웨이의 단일 IAM 역할로 처리되어 실제 호출자의 신원이 사라지는 사각지대가 발생한다. 이로 인해 호출자 감사 추적이 불가능해지고, 모델별 사용량 및 성능을 관측하는 모델 거버넌스가 흐려지는 문제가 발생한다.

이를 해결하기 위해 게이트웨이는 가볍게 유지하되, Amazon Bedrock의 네이티브 기능을 활용하여 두 가지 축의 거버넌스를 확보해야 한다.

1. 호출자 축 (누가, 어느 팀이 호출했는가)

• 문제: Bedrock 로그에 게이트웨이 역할만 남아이 호출 주체를 특정할 수 없음.
• 해결: X-Amzn-Bedrock-Request-Metadata 헤더를 사용하여 사용자, 팀, 호출 식별자 등의 메타데이터를 주입한다.
• 결과: Model Invocation Log의 requestMetadata 필드에 정보가 기록되어, Bedrock 로그만으로도 실제 호출자를 복원하고 감사할 수 있다.

2. 모델 축 (어느 모델을 얼마나 사용하는가)

• 문제: 프로파일 ARN이 불투명하여 모델별 사용량 및 접근 통제가 어려움.
• 해결: Application Inference Profile을 생성하고 태그를 부착하여 모델별로 관리한다.
• 결과: CloudWatch를 통해 모델 단위의 메트릭을 관측하고, IAM 권한을 프로파일 ARN으로 한정하여 접근을 제어할 수 있다.

이 아키텍처는 Claude Code와 LiteLLM을 기반으로 하며, 게이트웨이가 요청을 변환 없이 그대로 전달하는 pass-through 방식을 사용함으로써 Claude의 최신 기능(Prompt Caching 등)을 유지하면서도 보안과 감사 기능을 강화한다.