에이전트 관측성을 위한 데이터 레이어, SmithDB 구축

LangChain은 에이전트 관측성(Agent Observability)을 위해 특화된 분산 데이터베이스인 SmithDB를 출시했다. 이 데이터베이스는 현재 LangSmith의 핵심 워크로드를 지원하고 있다.

최근 AI 에이전트가 고도화됨에 따라 트레이스 데이터의 양과 크기가 폭발적으로 증가했다. 현대적인 에이전트 트레이스는 수백 개의 중첩된 스팬(Span)을 포함하며, 데이터가 조각나서 전달되는 특성이 있어 기존의 관측성 저장소로는 처리가 어렵다.

SmithDB는 이러한 문제를 해결하기 위해 다음과 같은 기능을 지원한다:

• Random access: 개별 실행 또는 트레이스 즉시 로드
• Full-text search: 입력 및 출력 내 구문 및 패턴 검색
• Tree-aware queries: 트레이스의 루트, 자식 노드 기반 필터링
• Thread reconstruction: 장기 실행되는 대화의 스레드 재구성
• JSON filtering: 사용자 정의 메타데이터 및 구조화된 도구 출력 쿼리

Rust로 구축된 SmithDB는 Apache DataFusion 쿼리 엔진과 Vortex 파일 툴킷을 활용하며, 객체 스토리지, Postgres 메타스토어, 상태 비저장(Stateless) 서비스로 구성된다. 이를 통해 LangSmith의 핵심 경험을 이전보다 최대 12배 더 빠르게 개선했다.