LangSmith 벤치마크 공유 기능 공개

개발자들이 애플리케이션을 프로덕션 환경에 배포할 때 겪는 가장 큰 어려움은 테스트 및 평가입니다. 새로운 모델, 검색 기술, 에이전트 유형이 끊임없이 등장함에 따라 기존 아키텍처의 성능을 검증하는 것이 더욱 복잡해지고 있습니다.

이에 LangChain은 LangSmith를 통해 평가 데이터셋과 결과를 공유할 수 있는 기능을 출시했습니다. 이를 통해 커뮤니티 중심의 평가와 벤치마크가 가능해졌으며, 새로운 langchain-benchmarks 패키지를 통해 누구나 실험 결과를 재현할 수 있습니다.

이번 업데이트의 핵심 특징은 다음과 같습니다:

• 데이터 및 메트릭 공유: 다양한 아키텍처가 동일한 작업에서 어떻게 작동하는지 데이터와 지표를 공개할 수 있습니다.
• 전체 트레이스(Traces) 포함: 단순한 결과 통계뿐만 아니라, 테스트된 체인의 단계별 실행 과정을 포함한 전체 트레이스를 제공하여 시스템의 동작을 심층적으로 분석할 수 있습니다.
• 첫 번째 벤치마크 공개: LangChain Python 문서에 대한 Q&A 데이터셋을 첫 번째 벤치마크로 공개하여, 여러 접근 방식의 성능을 직접 비교해 볼 수 있도록 했습니다.