아마존, 생성형 AI 및 에이전트 워크로드용 관측 솔루션 'CloudWatch Omni' GA 출시

아마존이 생성형 AI와 에이전트 워크로드의 비결정적 특성으로 인한 모니터링 한계를 해결하기 위해 통합 관측 솔루션 CloudWatch Omni를 GA(Generally Available)로 출시했다. 이 솔루션은 모델 제공자, 프레임워크, 런타임에 관계없이 AI 에이전트의 설계, 평가, 운영을 지원하며, 기존 지표로는 파악하기 어려운 응답 품질 저하와 회귀 문제를 탐지하는 데 초점을 맞췄다.

핵심 기능 및 사용성

CloudWatch Omni는 개발자와 운영자를 위해 두 가지 사용 표면을 제공한다. 개발자는 VS Code 및 Kiro용 네이티브 확장 프로그램을 통해 로컬에서 trace를 확인하고 평가기를 실행할 수 있으며, 운영자는 AWS Console과 분리된 독립형 웹 경험에서 SSO 인증을 통해 fleet을 모니터링한다. 두 표면은 동일한 데이터를 공유하며, 로컬 개발 중에는 클라우드 연결 없이도 사용 가능하다.

주요 기능으로는 모든 trace 캡처, 내장된 17개 평가기(coherence, helpfulness, faithfulness 등)를 통한 품질 점수 산출, Playground에서의 프롬프트 버전 비교, 프로덕션 트래픽 기반 테스트 데이터셋 생성, 자동 regression 감지 등이 포함된다. 특히 Trace Explorer는 LLM 호출, 도구 호출, 추론 단계를 계층적 타임라인으로 표시하여 오작동 원인을 특정할 수 있게 하며, Ask Assistant는 AI가 trace를 분석하여 이상 징후를 탐지하고 질문에 답변한다.

통합 및 호환성

CloudWatch Omni는 Kiro, Claude Code, Codex 등 AI 코드 어시스턴트와 통합되어 Dev Server 설정, 의존성 설치, 계측(instrumentation)을 자동화한다. 이를 통해 설치부터 첫 번째 추적된 에이전트 세션 실행까지 수 분 내로 완료할 수 있다. 지원 프레임워크로는 LangChain, LangGraph, CrewAI, OpenAI SDK, Strands, Vercel AI SDK 등이 있으며, Python 및 TypeScript를 지원한다.

표준 준수 측면에서는 OpenInference 및 ADOT 오픈 표준을 사용하며, Lambda, ECS, EKS 등 다양한 환경에서 실행 가능하다. 또한 Braintrust, DeepEval, Ragas 등 서드파티 평가기와의 연동을 지원하여 재플랫폼 없이 기존 워크플로우를 유지할 수 있다. Amazon Bedrock AgentCore는 네이티브 관측성을 지원하며, Omni 워크플로우 내에서 AgentCore 평가 기능을 활용할 수 있다.

가격 및 가용성

CloudWatch Omni는 현재 GA 상태이며, IDE 확장 프로그램은 무료로 제공된다. AWS 계정 없이도 로컬에서 기능을 탐색할 수 있으나, Amazon Bedrock 모델을 사용하려면 AWS 자격 증명이, OpenAI나 Anthropic 등 기타 프로바이더를 사용하려면 API 키가 필요하다. AWS MCP Server 및 플러그인을 통해 API 호출, 문서 검색, 문제 해결 지원도 가능하다.