에이전트 평가 준비를 위한 체크리스트

에이전트 평가는 기존 소프트웨어 테스트와는 근본적으로 다르다. 복잡한 자동화 시스템을 구축하기 전에, 먼저 **단순한 평가(Simple Eval)**부터 시작하여 핵심 작업 완료 여부를 확인하는 것이 중요하다.

평가 인프라를 구축하기 전 반드시 거쳐야 할 사전 준비 단계는 다음과 같다.

• 실제 트레이스(Trace) 수동 검토: 인프라 구축 전 20~50개의 실제 에이전트 트레이스를 직접 읽으며 실패 패턴을 파악한다.
• 명확한 성공 기준 정의: 두 명의 전문가가 동일하게 합격/불합격을 판정할 수 있을 만큼 구체적인 기준을 세워야 한다.
• 역량 평가와 회귀 평가의 분리: 새로운 기능을 테스트하는 Capability Evals와 기존 기능의 유지를 확인하는 Regression Evals를 구분하여 관리해야 한다.
• 실패 원인 분석 역량 확보: 실패 이유를 명확히 설명할 수 없다면 자동화된 평가를 구축할 단계가 아니다. 실패 사례를 수집하고, 도메인 전문가와 함께 **실패 분류 체계(Failure Taxonomy)**를 만드는 데 노력의 80%를 쏟아야 한다.

실패 원인에 따라 해결책도 달라진다. 프롬프트 문제라면 지침을 수정하고, 도구 설계 문제라면 파라미터나 인터페이스를 재설계해야 하며, 모델 자체의 한계라면 다른 접근 방식을 고민해야 한다.