LangSmith, 에이전트 디버깅용 'Trajectories' 출시

LangSmith가 에이전트 세션 디버깅을 위한 새로운 기능 Trajectories를 출시했다. 이 기능은 복잡한 트레이스 데이터를 메시지 및 액션의 순차적 경로로 투영하여, 장시간 실행되는 에이전트 디버깅 시 과도한 중첩 실행 정보를 제거하고 가독성을 높인다.

트레이스 탐색 간소화

Trajectories는 표준 트레이스의 중첩된 실행 구조를 제거하고, 인간, AI, 도구의 메시지를 시간 순서대로만 표시한다. 개발자는 타이밍, 재시도, 메타데이터를 분석하지 않고도 에이전트 행동이 기대치에서 벗어난 지점을 빠르게 식별할 수 있다. 특정 턴을 찾은 후에는 전체 트레이스로 진입해 런타임 세부 정보를 확인할 수 있다.

리뷰 및 평가 강화

Trajectories는 주제 전문가(SME)가 에이전트 행동을 검토하기 쉽도록 깔끔한 인터페이스를 제공한다. 이 뷰는 인간 리뷰어에게 전달되어 문제 플래그 지정이나 피드백 제공에 사용되며, 이는 에이전트 개선 워크플로에 반영된다. 또한 LangSmith의 온라인 평가기는 Trajectories를 직접 점수화할 수 있어 프로덕션 세션 전반의 품질을 지속적으로 모니터링할 수 있다.

프로덕션 데이터를 활용한 학습

이 기능은 고품질 Trajectories를 데이터셋으로 내보내 후속 학습(post-training) 워크플로를 지원한다. 내보내기에는 명확화 요청 및 도구 적응 로직 등 지도 파인튜닝(supervised fine-tuning)에 필요한 컨텍스트가 포함되어, 실제 프로덕션 환경을 모델 개선을 위한 가치 있는 학습 데이터로 전환한다.