Agent 평가 준비 체크리스트

Agent 평가는 기존 소프트웨어 테스트와는 다른 접근 방식이 필요하다. 처음부터 복잡한 시스템을 구축하기보다, Agent가 핵심 작업을 완료하는지 확인하는 간단한 end-to-end 평가부터 시작해 점진적으로 복잡성을 높여야 한다.

평가 인프라를 구축하기 전, 20~50개의 실제 Agent trace를 수동으로 검토하는 과정이 필수적이다. LangSmith의 trace와 annotation queue를 활용하면 자동화된 시스템보다 훨씬 더 깊이 있는 실패 패턴을 파악할 수 있다.

성공 기준은 누구나 동의할 수 있도록 명확해야 한다. 또한, 새로운 기능을 측정하는 capability eval과 기존 성능 유지를 확인하는 regression eval을 분리해야 한다. 전자는 성능 향상을 위한 목표를 제시하고, 후자는 기존 기능의 퇴보를 방지한다.

전체 평가 노력의 **60~80%**는 실패 원인을 분석하는 데 할애해야 한다. 실패 사례를 수집한 뒤 프롬프트 문제, 도구(tool) 설계 문제, 모델의 한계 등으로 분류(taxonomy)하여 근본 원인을 찾아 해결하는 과정이 중요하다.

마지막으로 데이터셋 유지와 판정 기준 조정 등을 담당할 단일 도메인 전문가에게 평가 프로세스의 소유권을 부여하여 일관성을 유지해야 한다.