LangSmith의 재사용 가능한 Evaluator 및 Evaluator 템플릿

LangChain은 LangSmith Evaluation의 새로운 업데이트로 **재사용 가능한 Evaluator(Reusable Evaluators)**와 Evaluator 템플릿 라이브러리를 공개했다. 이를 통해 개발자는 에이전트의 성능을 측정하기 위한 평가 도구를 매번 새로 만들 필요 없이, 한 번 구축한 평가 로직을 여러 프로젝트에 걸쳐 일관되게 적용할 수 있다.

새롭게 도입된 Evaluator 템플릿은 개발자가 처음부터 평가 로직을 설계하는 시간을 단축해 준다. 현재 30개 이상의 템플릿이 제공되며, 주요 카테고리는 다음과 같다.

• Safety and security: 프롬프트 인젝션 탐지, PII(개인정보) 체크, 편향성 및 유해성 검사
• Response quality: 정확성, 유용성, 톤(Tone)
• Trajectory: 에이전트가 목표 달성을 위해 올바른 단계를 거쳤는지 확인
• User behavior analysis: 언어 분포 및 사용자 만족도 신호 분석
• Multimodal: 음성 및 이미지 리뷰

이 템플릿은 LLM-as-judge 방식의 프롬프트 기반 평가와 규칙 기반의 코드 평가를 모두 포함하며, 온라인 모니터링과 오프라인 실험 모두에서 사용할 수 있다. 또한, 이번 업데이트와 함께 출시된 openevals v0.2.0에서도 음성 및 이미지 출력을 평가할 수 있는 멀티모달 지원 기능이 추가되었다.