Amazon Bedrock AgentCore로 구축하는 AgentOps (2): 관측성, 평가, 그리고 AgentOps 라이프사이클

에이전틱 AI 운영의 핵심은 기존 소프트웨어와는 다른 차원의 **관측성(Observability)**를 확보하는 것이다. 기존 시스템이 인프라 상태에 집중했다면, 에이전트는 추론의 정확도, 환각(Hallucination), 안전성 등 지능의 상태를 모니터링해야 한다.

에이전트 관측성을 구현하기 위해서는 세 가지 핵심 신호가 필요하다.

• 트레이스(Traces): LLM 추론부터 도구 호출, 결과 해석까지 이어지는 실행 궤적을 단계별로 기록한다.
• 메트릭(Metrics): 목표 달성률, 도구 호출 정확도, 가드레일 트리거 빈도 등 지능의 건강 상태를 수치화한다.
• 로그(Logs): 추론 과정(Chain-of-Thought)과 가드레일 작동 상세 내역 등 맥락 정보를 기록한다.

AgentCore Observability는 Amazon CloudWatch를 기반으로 하며, **AWS Distro for OpenTelemetry(ADOT)**를 통해 코드 변경 없이도 에이전트의 전체 궤적을 자동으로 수집하고 시각화할 수 있는 관리형 서비스를 제공한다.

또한, 수집된 트레이스를 바탕으로 에이전트의 품질을 검증하는 평가(Evaluation) 단계가 이어진다. 에이전트 평가는 단순한 입출력 비교를 넘어, 복잡한 실행 궤적(Trajectory) 전체를 분석해야 하는 고도의 작업이다.