Amazon EKS에서 운영하는 자체 관리형 Agentic AI 플랫폼: 인프라 자동화와 관측성으로 운영 안정성 확보하기

LLM 기반 에이전트가 프로덕션으로 가면 단일 거대 모델 의존의 비용, 지연, 환각, 데이터 거버넌스 문제가 커진다. 복잡한 추론은 고성능 LLM이, FAQ·분류·추출 같은 반복 작업은 도메인 특화 SLM이 맡는 이질적 다중 모델 구조가 필요하며, 에이전트 LLM 호출의 **40~70%**는 파인튜닝된 SLM으로 대체 가능하다고 본다. Kubernetes 생태계도 Gateway API Inference Extension, Kueue, LeaderWorkerSet 등으로 AI 네이티브 기능을 넓히고 있다.

플랫폼은 Amazon EKS Auto Mode 위에서 GPU 인프라를 자동화하고, Bifrost AI Gateway로 자체 호스팅 vLLM과 Amazon Bedrock을 하나의 OpenAI-compatible 엔드포인트로 묶는다. 2계층 관측성을 통해 인프라 비용과 에이전트 병목을 분리해서 보고, Bedrock으로 시작해 필요하면 EKS 자체 호스팅으로 확장하는 하이브리드 접근이 현실적이다.

핵심 구성은 다음과 같다.

• EKS Auto Mode가 VPC CNI, EBS CSI Driver, CoreDNS를 자동 관리하고, GPU 드라이버·Container Toolkit·Device Plugin까지 AMI에 포함해 nvidia.com/gpu: 1 요청만으로 GPU를 쓸 수 있게 한다.
• GPU NodePool은 Spot과 on-demand를 함께 쓰며, WhenEmptyOrUnderutilized와 30s consolidation으로 유휴 GPU 비용을 줄인다. ARM64 자동 선택을 막아야 하는 컴포넌트가 있으면 kubernetes.io/arch: amd64를 명시한다.
• Bifrost는 provider/model 형식으로 라우팅하고, 내부 DNS의 vLLM도 외부 API처럼 붙일 수 있다. Bedrock provider는 AWS credentials Secret을 넣고 Web UI나 /api/providers로 등록한다. 쿼리 타입별 모델은 MODEL_SIMPLE, MODEL_COMPLEX 같은 ConfigMap 값으로 나눠 코드 수정 없이 전환한다.
• vLLM은 Qwen3-8B 예시로 nvidia.com/gpu: 1과 --max-model-len 4096 설정으로 배포한다. EKS Auto Mode에서는 Graviton 선택 가능성을 피하기 위해 vLLM Production Stack 대신 직접 Deployment를 써서 GPU NodePool에 올린다.
• Langfuse는 Helm chart로 배포하며, OpenTelemetry 기반 SDK로 @observe와 propagate_attributes()를 쓴다. ClickHouse, PostgreSQL, Redis, Zookeeper, S3(MinIO)를 포함하고, EKS Auto Mode에서는 ebs-auto StorageClass가 선행되어야 한다. 키가 없으면 no-op으로 동작해 개발 환경과 운영 환경을 분리할 수 있다.

고객 지원 데모에서는 LangGraph가 쿼리를 분류해 단순 문의는 self-hosted-vllm/qwen3-8b로, 복잡한 문의는 bedrock/global.anthropic.claude-haiku-4-5-20251001-v1:0으로 보낸다. Bifrost 대시보드에서는 provider별 요청량, 토큰, 지연을 보고, Langfuse에서는 각 에이전트의 트레이스와 평가 결과를 확인해 라우팅과 품질 튜닝을 동시에 수행한다.