Deep Agent 평가하기: 우리의 학습 내용

LangChain은 최근 DeepAgents CLI, LangSmith Assist, Personal Email Assistant, Agent Builder 등 네 가지 애플리케이션을 출시하며 Deep Agent를 위한 평가(Evaluation) 프로세스를 구축했다.

기존 LLM 평가가 동일한 데이터셋과 평가기를 사용하는 방식이었다면, Deep Agent는 각 데이터 포인트마다 고유한 성공 기준이 필요하다. 에이전트가 단순히 최종 답변을 잘 내놓는 것을 넘어, 실행 과정(Trajectory)과 상태(State)가 올바른지 검증해야 하기 때문이다.

효과적인 평가를 위한 5가지 핵심 패턴은 다음과 같다:

• 맞춤형 테스트 로직: 각 데이터 포인트마다 고유한 성공 기준과 검증 로직 적용
• Single-step 실행: 특정 시나리오에서 에이전트의 의사결정 능력을 검증하고 토큰 소모 절감
• Full agent turns: 에이전트의 최종 상태(End state)에 대한 단언(Assertion) 테스트
• Multiple agent turns: 실제 사용자 상호작용을 시뮬레이션하되, 정해진 경로를 벗어나지 않도록 제어
• 환경 설정(Environment setup): 깨끗하고 재현 가능한 테스트 환경 구축

예를 들어, 사용자의 선호도를 기억하는 캘린더 에이전트를 테스트할 때는 단순히 답변을 확인하는 것이 아니라, 에이전트가 특정 파일(memories.md)을 올바르게 수정했는지, 그리고 그 내용이 사용자의 요청과 일치하는지를 LLM-as-a-judge 등을 통해 다각도로 검증해야 한다.