Amazon Bedrock AgentCore로 구축하는 AgentOps (2): 관측성, 평가, 그리고 AgentOps 라이프사이클

에이전틱 AI 운영의 핵심은 기존 소프트웨어의 인프라 모니터링을 넘어, 에이전트의 **지능(Intelligence)**을 모니터링하는 것입니다. 에이전트는 비결정적인 특성을 가지므로, 단순히 시스템의 가용성을 확인하는 것을 넘어 응답의 정확성, 환각(Hallucination) 여부, 안전성 등을 지속적으로 검증해야 합니다.

에이전트 관측성을 구현하기 위해서는 세 가지 핵심 신호가 필요합니다.

• 트레이스(Traces): LLM 추론, 도구 선택, 결과 해석 등 실행 궤적을 단계별로 기록
• 메트릭(Metrics): 목표 달성률, 도구 호출 정확도, 가드레일 트리거 빈도 등 수치화된 지표
• 로그(Logs): 추론 과정(Chain-of-thought) 및 가드레일 작동 상세 정보

AgentCore Observability는 Amazon CloudWatch를 기반으로 하며, **AWS Distro for OpenTelemetry(ADOT)**를 활용해 코드 변경 없이도 에이전트의 전체 궤적을 시각화하고 실시간 대시보드와 알람을 제공합니다. 이를 통해 에이전트의 품질을 검증하는 평가(Evaluation) 단계로 연결하여 지속적인 최적화를 가능하게 합니다.