대규모 Multi-Agent 시스템 평가하기

에이전트 시스템의 실패는 단순히 하나의 잘못된 응답 때문이 아니라, 잘못된 핸드오프, 전문가 에이전트의 신호 누락, 부적절한 리뷰 트리거 등 복합적인 원인으로 발생한다. 이를 개선하기 위해서는 개별 응답을 넘어 전체 트레이스(trace) 집합에서 반복되는 행동을 파악해야 한다.

본 워크플로우는 Multi-Agent 시스템을 위한 매크로 평가(Macro-eval) 방식을 제안한다. 전기차(EV) 주문 워크플로우를 예시로 하여, 가격 책정, 컴플라이언스, 공급, 공장 라우팅 등 다양한 전문가 에이전트가 협업하는 환경을 시뮬레이션한다.

평가는 두 가지 수준으로 나뉜다:

• Lower-level evals: 개별 에이전트, 도구 사용, 핸드오프의 품질을 평가한다. 예시에서는 Promptfoo를 사용하여 정책 준수 여부나 전문가 라우팅의 적절성을 측정한다.
• Macro evals: 수많은 하위 평가 결과를 종합하여 어떤 문제가 반복되는지, 어느 부분에 집중적으로 발생하는지 분석한다.

이 과정을 통해 수천 개의 에이전트 이벤트를 기술적·비즈니스적 이해관계자가 이해할 수 있는 소수의 **행동 패턴(behavior pattern)**으로 압축하여, 시스템의 핵심 문제 지점을 찾아낼 수 있다.