LangSmith, Engine v2와 Managed Deep Agents v0.8 등 대규모 업데이트 발표

LangChain이 에이전트 개발 라이프사이클의 런타임 기능과 관측성을 강화하기 위해 LangSmith의 업데이트를 발표했다. 이번 릴리스에는 LangSmith Engine v2, Managed Deep Agents v0.8, LangSmith Trajectories, LangSmith Fine-Tuning, Custom Apps가 포함된다.

LangSmith Engine v2

Engine v2는 플랫폼 내 에이전트를 강화해 이슈 감지와 수정을 자동화한다. 5월 출시 이후 Engine은 6,000만 개 이상의 트레이스를 분석했다. 주요 신규 기능은 다음과 같다:

• 레드 티밍(Red Teaming): 프로덕션 트레이스와 리포지토리를 활용해 잠재적 이슈에 대한 가설을 생성하고 테스트하여, 프로덕션에 영향을 미치기 전에 확인된 실패를 사전에 발견한다.
• 확장된 감지: 오류율, 지연 시간, 비용 등 성능 추세와 반복적인 도구 호출 같은 비효율적 행동을 식별한다.
• 자동 수정 검증: LangSmith Deployment를 사용하는 에이전트에 대해 Engine은 평가 세트와 비교해 후보 수정 사항을 테스트하고, 만족스러운 솔루션을 원클릭 PR 배포로 제시한다.

Managed Deep Agents v0.8

이 업데이트는 신원 범위 인증과 메모리를 추가해 프로덕션 환경의 과제를 해결한다. 주요 추가 사항은 다음과 같다:

• 사용자 수준 메모리: 공유된 에이전트 수준 메모리와 분리된 호출자별 컨텍스트를 저장하며, 데이터 유출을 방지하기 위한 접근 정책을 적용한다.
• 채널 확장: Slack 지원에 파일 전송이 추가되었고, 새로운 HTTP 채널 지원으로 JSON 웹훅을 보내는 모든 서비스와 연결할 수 있다.
• 내장 웹 검색: Parallel 기반의 이 사전 구축된 도구는 별도의 벤더 계정이나 API 키 없이 최신 정보를 제공한다.

Trajectories와 Fine-Tuning

LangSmith Trajectories는 인간, AI, 도구의 메시지를 시간 순서대로 집계해 에이전트 세션을 대화형으로 보여줌으로써 디버깅과 SME 리뷰를 단순화한다. 이 데이터는 LangSmith Fine-Tuning으로 이어지며, smithtune CLI를 사용해 오픈 모델에 대한 지도 미세 조정(SFT)을 수행한다. 워크플로우는 데이터셋 준비, Baseten 또는 Fireworks를 통한 학습, 평가, 서빙을 처리한다.

Custom Apps

팀들은 이제 API와 템플릿을 사용해 LangSmith 데이터 위에 맞춤형 인터페이스를 구축, 게시, 실행할 수 있다. 이를 통해 어노테이션 큐나 실험 비교 등 맞춤형 워크플로우를 LangSmith 워크스페이스 내에서 직접 구현할 수 있다.