LangSmith Tuned Evaluators 출시

생산 환경에서 대화형 에이전트를 평가할 때는 정확도와 비용 사이의 트레이드오프가 큰 문제였다. 고성능 모델은 정확하지만 비용이 너무 비싸고, 작은 모델은 비용은 낮지만 신뢰도가 낮아 모든 대화를 모니터링하기 어려웠다.

LangSmith Tuned Evaluators는 이러한 문제를 해결하기 위해 등장했다. 이 기능은 생산 환경의 트레이스(traces)에 품질 피드백을 자동으로 부착하여, 팀이 에이전트의 행동을 개선할 수 있도록 돕는다.

주요 특징은 다음과 같다:

• Turnkey 솔루션: 복잡한 프롬프트 작성, 모델 선정, 인프라 관리를 LangChain이 엔드투엔드로 처리한다.
• 고성능·저비용: 첫 번째로 공개된 Perceived Error 평가기는 프론티어 모델 수준의 정확도를 유지하면서도 비용을 최대 **82%**까지 절감한다.
• 자동화된 피드백: 에이전트의 상호작용을 분석하여 개선이 필요한 지점을 즉각적으로 파악할 수 있게 한다.

사용자는 필요한 평가기를 선택하여 트레이싱 프로젝트에 연결하기만 하면 된다.