LangSmith Evaluations의 Pytest 및 Vitest 통합 기능 소개

LangChain 팀은 LLM 애플리케이션의 신뢰성을 높이기 위해 LangSmith의 Pytest 및 Vitest/Jest 통합 기능을 베타 버전으로 출시했다. 이 기능은 LangSmith Python 및 TypeScript SDK v0.3.0부터 사용할 수 있다.

기존 테스트 프레임워크의 익숙한 개발 경험(DX)을 유지하면서 LangSmith의 가시성 및 공유 기능을 활용할 수 있다. 주요 이점은 다음과 같다.

• 디버깅 지원: LLM의 비결정적 특성을 고려하여 입력/출력 및 스택 트레이스를 저장해 문제 원인을 파악할 수 있다.
• 메트릭 기록: 단순 통과/실패를 넘어 피드백을 기록하고 시간에 따른 성능 변화를 추적하여 회귀를 방지한다.
• 팀 협업: 프롬프트 엔지니어링 및 평가 과정에 참여하는 전문가들과 실험 결과를 쉽게 공유할 수 있다.
• 내장 평가 함수: Python 사용자는 LLM 출력 검증에 유용한 내장 평가 함수를 활용할 수 있다.