LangSmith Engine 소개

기존 AI 에이전트 개발은 트레이스를 직접 읽고, 실패 패턴을 식별하며, 프롬프트나 로직을 수정하고, 다시 데이터셋을 만드는 수동적인 과정을 반복해야 했다. 이 과정에서 무엇을 고쳐야 할지 파악하거나 대규모 환경에서 오류 재발을 방지하는 작업은 매우 번거롭고 어려웠다.

LangSmith Engine은 이 전체 개발 주기를 자동화한다. 프로덕션 트레이스를 모니터링하여 실패 사례를 이름이 지정된 이슈로 클러스터링하고, 연결된 코드 저장소를 분석해 근본 원인을 진단한다. 이후 문제 해결을 위한 **PR(Pull Request)**과 맞춤형 온라인 평가기(Evaluator) 초안을 자동으로 작성한다.

주요 기능은 다음과 같다:

• 이슈 클러스터링 및 진단: 실패 패턴을 식별하고 코드 기반으로 원인을 분석하여 우선순위가 지정된 리스트를 제공한다.
• 자동 수정 및 평가 제안: 문제 해결을 위한 코드 수정안과 해당 이슈를 지속적으로 추적할 수 있는 맞춤형 평가기를 제안한다.
• 평가 데이터셋 강화: 실패한 트레이스를 오프라인 평가 데이터셋으로 자동 통합하여 동일한 문제가 재발하는 것을 방지한다.

LangSmith Engine은 기존 LangSmith 설정 및 인프라와 즉시 통합되어 별도의 구축 없이 바로 사용할 수 있으며, 현재 퍼블릭 베타로 제공된다.