Amazon Bedrock AgentCore로 구축하는 AgentOps (1): 파운데이션과 게이트웨이

생성형 AI가 스스로 추론하고 행동하는 에이전틱 AI로 진화함에 따라, 단순한 모델 응답을 넘어 복잡한 도구와 RAG, 오케스트레이터를 관리해야 하는 과제가 발생하고 있습니다. 프로덕션 단계에서는 모델의 성능만큼이나 모델을 둘러싼 하네스 엔지니어링(Harness Engineering), 즉 도구, 메모리, 가드레일, 위임 경로의 설계가 최종 품질을 결정합니다.

이를 안정적으로 운영하기 위한 방법론이 바로 AgentOps입니다. AgentOps는 에이전트의 빌드부터 거버넌스, 관측, 평가, 최적화, 재배포에 이르는 전체 라이프사이클을 관리합니다. 에이전틱 AI의 '실패'는 단순한 오답이 아닌 '잘못된 행동'을 의미하므로, 이를 제어할 수 있는 견고한 파운데이션(Foundation) 구축이 필수적입니다.

파운데이션은 크게 다음과 같은 요소로 구성됩니다.

• 오케스트레이션 레이어: 에이전트 내부 동작 아키텍처 설계
• 중심부: 모델/에이전트/도구 레지스트리 및 접근을 통합하는 게이트웨이
• 런타임: 에이전트 실행 환경 (서버리스, 컨테이너 등)
• 데이터 레이어: 데이터 인덱싱 및 단기/장기 메모리 제공
• 공통 레이어: 운영(Operations), 보안(Security), 관측성(Observability)

AWS는 이를 구현하기 위해 Amazon Bedrock과 Amazon Bedrock AgentCore를 활용합니다. AgentCore는 다양한 오픈소스 프레임워크로 만든 에이전트를 컨테이너화하여 배포하고, 메모리, 게이트웨이, 정책(Policy), 아이덴티티(Identity), 관측성, 샌드박스 등 프로덕션 운영에 필요한 공통 레이어를 관리형 서비스로 제공합니다.