LangSmith 팀, Jev로 비용 $28.17에서 $0.34로 절감하는 에이전트 평가 가이드 공개

LangSmith 팀이 AI 에이전트 평가의 일반적인 과제를 다루는 가이드를 공개하며, 배포 전 테스트를 위한 Offline Evals와 실시간 프로덕션 모니터링을 위한 Online Evals의 차이를 강조했다. 특히 온라인 평가의 비용 관리 측면에서 Claude Sonnet 4.6 대신 Jev(TypeSafe AI 제공)를 사용할 경우, 인간 라벨 일치율을 유지하면서 총 비용을 $28.17에서 $0.34로 절감할 수 있음을 밝혔다.

평가 전략 및 평가자 유형

기사는 네 가지 주요 평가자 유형을 제시한다. 결정적 검증을 위한 Code evaluators, 주관적 품질을 위한 LLM-as-a-judge, 고위험 검증을 위한 Human review, 출력 비교를 위한 Pairwise evaluators이다. LLM 평가자의 신뢰성을 높이기 위해 넓은 1-10 척도 대신 좁은 질문과 이진 pass/fail 척도를 권장한다. Offline Evals는 고정된 데이터셋을 대상으로 회귀 테스트를 허용하며, Online Evals는 과도한 비용 없이 라이브 트래픽을 모니터링하기 위해 샘플링과 필터링을 활용한다.

프레임워크 독립성 및 마이그레이션

LangSmith는 LangChain, LangGraph, Deep Agents 또는 프레임워크가 없는 경우 등 어떤 프레임워크로 구축된 에이전트도 지원한다. 추적은 프레임워크 통합(예: OpenAI Agents SDK, Claude Agent SDK), 모델 제공자 래퍼, 또는 @traceable 데코레이터를 통해 구현할 수 있다. 데이터셋과 코드 평가자 등 기존 평가 자산은 최소한의 수정으로 LangSmith로 마이그레이션할 수 있으며, 오픈소스 agentevals 패키지는 메시지와 도구 호출을 위한 사전 구축된 평가자를 제공한다.

벤치마킹 및 인프라

복잡한 다단계 작업을 위해 Terminal-Bench 2.0과 IssueBench 같은 벤치마크는 에이전트 동작과 최종 상태 변경을 테스트하기 위해 격리된 컨테이너 환경을 사용한다. 오픈소스 평가 하네스인 Harbor는 이러한 컨테이너화 테스트를 용이하게 하며, 각 실행을 LangSmith 실험으로 기록한다. 이 인프라는 최종 출력뿐 아니라 에이전트의 경로와 파일 편집 또는 데이터베이스 업데이트와 같은 환경적 부작용까지 평가할 수 있도록 지원한다.