Deep Agents를 위한 평가(Evals) 구축 방법

에이전트의 성능을 개선하기 위해서는 단순히 많은 테스트를 추가하는 것이 아니라, 실제 프로덕션 환경에서 중요한 동작을 직접 측정하는 **타겟팅된 평가(Targeted Evals)**를 설계하는 것이 핵심이다. 무분별한 테스트 추가는 실제 성능 개선과는 무관한 점수 상승이라는 착각을 불러일으킬 수 있다.

효과적인 평가 구축을 위해 다음과 같은 접근 방식을 권장한다.

• 목표 동작 정의: 에이전트가 수행해야 할 핵심 동작(예: 다중 파일 컨텐츠 검색, 5개 이상의 도구 연속 호출 등)을 결정하고 이를 검증할 수 있는 평가를 큐레이션한다.
• 자기 문서화(Self-documenting): 각 평가에는 해당 기능이 어떻게 측정되는지 설명하는 docstring을 추가하고, tool_use와 같은 카테고리 태그를 부여하여 그룹화된 실행이 가능하도록 한다.
• 트레이스(Trace) 분석: LangSmith와 같은 도구를 활용해 모든 평가 실행 과정을 추적하고, 실패 모드를 분석하여 평가 범위를 업데이트한다.

데이터 소싱은 내부 에이전트를 직접 사용하는 Dogfooding 결과, 외부 벤치마크(Terminal Bench 2.0, BFCL 등)의 활용, 그리고 중요한 동작에 대한 수동 단위 테스트 작성을 통해 이루어진다. 또한, 시스템 프롬프트 전달이나 라우팅 같은 SDK 단위/통합 테스트와 모델의 역량을 측정하는 **모델 역량 평가(Model Capability Evals)**를 분리하여 운영함으로써 평가의 신뢰도를 높인다.