LangChain, 레드 티밍과 자동 수정 검증 도입한 LangSmith Engine v2 공개

LangChain이 에이전트 개발 수명 주기를 자동화하는 플랫폼 내 에이전트 LangSmith Engine v2를 공개했다. 지난 5월 출시 이후 Engine은 7,000만 개 이상의 트레이스를 분석하고 수만 건의 문제를 진단했다. v2 업데이트는 선제적 탐지와 사전 검증된 수정 사항을 통해 개발자의 빠른 배포와 프로덕션 회귀 방지를 지원한다.

선제적 레드 티밍

Engine v2는 환각이나 시스템 프롬프트 위반 등 사용자 영향이 발생하기 전에 문제를 포착하는 선제적 디버깅 도구 Red Teaming을 도입했다. 프로덕션 트레이스와 저장소를 분석해 에이전트의 목적과 행동을 파악한 뒤 약점을 테스트하여 잠재적 실패를 식별한다. 이 기능은 현재 LangSmith Deployment 기존 사용자를 대상으로 Private Beta로 제공된다.

미묘한 성능 문제 탐지

Engine v2는 명백한 오류 외에도 반복적인 도구 호출 등 비효율적인 경로를 식별하고 더 효율적인 대안을 제안한다. 또한 오류율, 지연 시간, 비용 등 주요 지표의 추세를 추적하여 모든 문제를 단일 큐로 통합한다.

자동화된 수정 검증

LangSmith Deployment를 사용하는 에이전트의 경우, Engine은 제안된 수정 사항을 인간 검토 전에 검증한다. 실패 재현, 변경 제안, 동일 입력을 통한 테스트, 결과 평가 과정을 거친다. 수정이 문제를 해결한다고 확인되면 배포용 PR을 원클릭으로 생성할 수 있다. 이 기능 역시 LangSmith Deployment 사용자를 위한 Private Beta 단계다.

성능 및 가용성

IssueBench 기준 문제 탐지 성능은 2배 이상 개선됐으며, Terminal-Bench 기준 수정 효과는 25% 향상됐다. Engine v2는 LangSmith Plus 및 Enterprise 요금제 사용자를 위한 SaaS 배포에서 제공된다. 셀프 호스팅 지원은 곧 추가될 예정이며, 향후 릴리스에서는 추론을 위한 bring-your-own-key (BYOK) 지원과 VPC 내 트레이스 데이터 보존 기능이 계획돼 있다.