신뢰할 수 있는 에이전트 시스템 구축을 위해 워크플로우와 에이전트의 차이를 이해하고 적절한 컨텍스트를 제어하는 것이 핵심이다.
LangSmith가 OpenTelemetry를 지원하여 LLM 애플리케이션의 트레이싱을 표준화하고 통합 관측성을 제공한다.
LangChain이 LLM 및 에이전트 애플리케이션의 성능 평가를 돕는 오픈소스 프레임워크인 OpenEvals를 출시했다.
LangChain이 2024년 AI 개발 트렌드와 LLM 인프라 사용 현황을 담은 연례 보고서를 발표했다.
LangSmith가 OpenTelemetry 형식을 지원하여 분산 트레이싱 및 관측성 기능을 강화했다.
LangChain 팀이 데이터셋과 평가 지표를 기반으로 프롬프트를 자동 개선하는 Promptim 라이브러리를 공개했다.
New Computer가 LangSmith를 활용해 에이전트 메모리 시스템의 재현율을 50%, 정밀도를 40% 개선했다.
LangSmith가 LLM 답변 간의 우열을 직접 비교하여 인간의 선호도를 더 정확히 측정하는 Pairwise Evaluation 기능을 출시했다.
LangSmith가 LLM 애플리케이션의 성능 변화를 정밀하게 비교하고 분석할 수 있는 개선된 회귀 테스트 기능을 출시했다.
LangChain의 LLM DevOps 플랫폼인 LangSmith가 Azure Marketplace를 통해 Azure Kubernetes Application으로 출시되었습니다.
LLM을 활용한 쿼리 분석 시 발생하는 고카디널리티 범주형 값 처리 문제와 그 해결 방안을 벤치마킹한다.
Dosu는 LLM 제품의 성능 저하를 방지하고 신뢰성을 높이기 위해 평가 주도 개발(EDD) 방식을 도입했다.
Pinecone Serverless, LangServe, LangSmith를 결합하여 프로덕션급 RAG 애플리케이션을 구축하고 배포하는 방법을 소개한다.
LangChain이 LangSmith 데이터를 분석해 2023년 LLM 애플리케이션 개발 및 테스트 트렌드를 공개했다.
LangChain이 개발자들이 LLM 아키텍처를 쉽게 비교하고 검증할 수 있도록 LangSmith의 데이터셋 및 결과 공유 기능을 출시했다.
LangChain이 LLM 애플리케이션 평가를 위해 여러 테스트 실행 결과를 나란히 비교할 수 있는 LangSmith의 신기능을 공개했다.
LangSmith를 사용하여 파인튜닝된 오픈 소스 모델의 성능을 체계적으로 평가하고 비교하는 프로세스를 소개한다.
AI Briefing