이지에이웍스, Amazon Bedrock AgentCore로 Agentic AI PoC 검증 및 평가 체계 구축

• 기존 고정 워크플로우의 한계를 극복하기 위해 LangGraph supervisor 기반 Agentic 구조를 PoC로 검증함
• 질문 성격에 따라 Claude Sonnet 5, Haiku 4.5, Opus 5를 분리 적용하여 비용과 품질을 최적화함
• AgentCore Evaluations 기반 평가 주도 개선 루프를 통해 에이전트 결함보다 평가 체계 결함을 먼저 발견하고 수정함
• 프롬프트 엔지니어링과 구조 최적화로 복합 분석 질문의 응답 시간을 프로토타입 기준 약 60% 단축함

아키텍처 및 모델 구성

• triage 노드에서 질문을 분석 가능, 정보 부족, 범위 밖으로 분류하고 구조화 출력으로 라우팅을 코드화함
• SQL ReAct 서브그래프에서 스키마 검색, SQL 생성 및 실행, 해석 과정을 수행하며 멀티턴 대화 시 resolved_question으로 문맥을 재작성함
• AgentCore Memory로 세션 연속성을 검증하고 프로덕션에서는 LangGraph checkpointer를 사용하는 구조로 설계함

도구 연동 및 평가 방법

• 스키마 검색 및 SQL 실행 등 20여 개 도구를 MCP(Model Context Protocol)로 표준화하여 AgentCore Gateway에 연결함
• JSONL 기반 평가 데이터셋과 assertions을 활용해 LLM-as-a-judge 방식으로 품질을 채점함
• 절대 수치 대신 에이전트 실제 실행 쿼리 결과와 일치 여부를 기준으로 하는 상대적 판정 방식을 적용함