AI 에이전트를 위한 체계적 디버깅: AgentRx 프레임워크 소개

AgentRx는 길고 비결정적인 에이전트 실행 경로에서 실패의 시작점을 추적하기 위한 오픈소스 진단 프레임워크다. 도구 스키마와 도메인 정책에서 guarded executable constraints를 자동 생성하고, 이를 단계별로 검증해 증거가 남는 위반 로그를 만든다.

핵심은 마지막 에러가 아니라 Critical Failure Step(더 이상 복구할 수 없게 된 첫 지점)을 찾는 데 있다. 이를 위해 trajectory normalization, constraint synthesis, guarded evaluation, LLM-based judging의 4단계 흐름을 사용해 실패 원인과 분류를 함께 정리한다.

평가를 위해 AgentRx Benchmark도 함께 공개했다. τ-bench, Flash, Magentic-One에서 수집한 115개의 실패 trajectory를 수작업으로 주석했고, grounded-theory 방식으로 9개 실패 taxonomy를 정리했다.

분류 체계는 다음과 같은 실패를 구분한다.

• Plan Adherence Failure: 계획을 따르지 않거나 불필요한 행동을 추가한 경우
• Invention of New Information: trace나 tool output에 없는 사실을 만들어낸 경우
• Invalid Invocation: 잘못된 tool call, 누락된 인자, schema 위반
• Misinterpretation of Tool Output: tool output을 잘못 해석한 경우
• Intent–Plan Misalignment: 사용자 의도와 계획이 어긋난 경우
• Under-specified User Intent: 필요한 정보가 부족해 진행할 수 없는 경우
• Intent Not Supported: 현재 tool로는 요청을 수행할 수 없는 경우
• Guardrails Triggered: 안전성·접근 제한으로 실행이 차단된 경우
• System Failure: 연결 문제나 endpoint 장애

실험에서는 기존 prompting 기반 baseline보다 failure localization이 23.6%, root-cause attribution이 22.9% 개선됐다. 프레임워크와 데이터셋, 논문은 모두 공개되어 에이전트 실패 분석과 재현 가능한 디버깅 연구에 활용할 수 있다.