LangSmith, 에이전트 트레이스 자연어 검색 기능 'AI Search' 공개 베타 출시

LangSmith가 에이전트 트레이스를 자연어로 검색할 수 있는 AI Search 기능을 도입했다. 이 기능은 사용자 불만이나 PII 유출 등 특정 행동을 찾는 데 사용된다. 기존 전문 검색이나 벡터 임베딩은 압축 과정에서 중요한 세부 정보를 놓칠 수 있지만, AI Search는 fast decision model을 사용해 트레이스의 실제 내용을 읽고 해당 행동 발생 여부를 판단한다.

작동 방식

이 시스템은 트레이스 데이터용으로 설계된 SmithDB에 의존한다. SmithDB는 OpenAI, Anthropic, LangChain 등 다양한 출처의 트레이스를 trajectories로 정규화한다. Trajectory는 에이전트 세션의 정제된 뷰로, 중복을 제거하기 위해 각 메시지, 도구 호출 및 결과를 한 번만 나열한다. AI Search는 원시 트레이스가 아닌 이러한 trajectories를 분석하여 다른 SDK 간에 일관된 결과를 보장하고 컨텍스트 팽창을 줄인다.

대규모 대화를 처리하기 위해 AI Search는 각 trajectory에 고정된 8K token budget을 적용한다. 사용자 메시지와 에이전트 답변을 우선시하며, 남은 예산은 중간 추론 및 도구 출력으로 채운다. 일부 에이전트 대화는 1 million tokens를 초과할 수 있지만, 대부분의 행동 관련 질문은 몇 천 토큰의 관련 컨텍스트만으로 답변할 수 있다는 현실을 반영한 접근 방식이다.

가용성 및 성능

검색은 먼저 구조화된 필터를 적용해 후보군을 좁힌 후, 배치 단위로 decision model을 병렬 실행하여 속도를 최적화한다. 일치 항목은 발견되는 대로 스트리밍되어 사용자가 전체 스캔을 기다릴 필요가 없다. AI Search는 현재 LangSmith Cloud의 GCP US, EU, APAC 지역에서 공개 베타로 제공되며, 조직 관리자가 추가 비용 없이 활성화할 수 있다.