LangSmith의 모든 작업 환경에서 사용할 수 있는 AI 어시스턴트 'Polly' 정식 출시

에이전트 디버깅은 수백 단계의 trace, 수천 줄의 prompt로 인해 매우 복잡합니다. LangSmith는 이러한 문제를 해결하기 위해 300단계 이상의 트레이스를 읽고 실패 원인을 정확히 짚어내는 AI 어시스턴트 Polly를 정식 출시했습니다.

기존에는 일부 페이지에서만 제한적으로 사용 가능했던 Polly가 이제 LangSmith의 모든 페이지(tracing, runs, threads, experiments, datasets, annotation queues, evaluators, playground)에서 사용할 수 있습니다.

주요 업데이트 사항은 다음과 같습니다:

• 대화 맥락 유지: 페이지를 이동하더라도 이전 디버깅 맥락을 기억하여 작업 흐름의 단절을 최소화합니다.
• 실질적인 액션 수행: 질문 답변을 넘어 prompt 업데이트, 실패한 실행 결과 기반의 dataset 생성, evaluator 코드 작성 및 실험 비교 등을 직접 수행합니다.

Polly는 사용자의 워크플로우를 따라가며 다양한 도움을 줍니다. thread view에서 사용자의 감정이나 문제 해결 여부를 분석할 수 있으며, evaluator 로직을 직접 작성하거나 개선할 수 있습니다. 또한, 여러 실험 결과를 비교하여 어떤 모델이나 프롬프트가 가장 효과적인지 데이터에 기반한 권장 사항을 제공합니다.

Polly는 Cmd+I(Mac) 또는 Ctrl+I(Windows/Linux) 단축키로 즉시 호출할 수 있으며, 사용 중인 모델 제공자의 API key를 워크스페이스 비밀(secret)로 추가하면 바로 시작할 수 있습니다.