LangSmith Engine, 에이전트 이슈 탐지 성능 2배 향상

LangChain이 자사 플랫폼 내 에이전트 분석 도구인 LangSmith Engine의 최신 업데이트를 발표했다. 이번 릴리스로 Engine은 내부 벤치마크 기준 에이전트 트레이스 내 영향력 있는 이슈를 식별하는 성능이 2배 이상 향상되었으며, 산업 표준 벤치마크 기준 프롬프트 및 코드 수정 성능도 25% 개선되었다.

Engine은 프로덕션 에이전트가 생성하는 방대한 트레이스를 자율적으로 분석하여 오류를 찾고, 근본 원인을 진단하며, 수정안을 제안하는 역할을 수행한다. 주요 기능은 다음과 같다.

• 증거 기반 진단: 문제 발생을 보여주는 에이전트 실행 기록, 사고 타임라인, 근본 원인 분석 제공
• 수정안 제안: 배포 가능한 PR 형태로 프롬프트 또는 코드 변경 사항 제공
• 그라운드 트루스 예시: 실패한 실행을 데이터셋 예시로 변환하여 오프라인 검증 지원
• 지속적 모니터링: 회귀 오류(regression)를 감지하기 위한 이슈별 모니터링 기능

또한 이번 업데이트에는 Slack 알림, Linear 티켓 연동, 그리고 셀프호스티드 LangSmith 배포 환경 지원이 포함되었다. 비용 효율성을 높이기 위해 분석 비용을 제어할 수 있는 Reduced Analysis 모드도 새로 도입되었다. Engine은 출시 이후 6,000만 개 이상의 트레이스를 스캔하여 2만 건 이상의 이슈를 발견하는 등 엔지니어링 시간을 크게 절감하는 데 기여하고 있다.