LangSmith에서 파인튜닝된 오픈 소스 모델 테스트하기

Mistral 7b, Llama2와 같은 오픈 소스 모델의 성능이 향상됨에 따라, 애플리케이션에 최적화된 모델을 빠르게 교체하며 테스트하는 능력이 중요해지고 있습니다. 개발자는 다양한 버전의 모델을 비교하기 위해 효율적인 평가 프로세스가 필요합니다.

LangSmith는 파이썬 스크립트의 복잡함을 줄여주는 UI와 API를 제공하여, 평가 데이터셋을 쉽게 생성하고 여러 모델의 성능을 다양한 축에서 직접 비교할 수 있게 돕습니다. 데이터는 파이썬 코드나 UI를 통해 간편하게 업로드할 수 있습니다.

본 사례 연구에서는 다음과 같은 단계로 모델 평가를 진행했습니다:

• 초기화: Hugging Face의 sql-create-context 데이터셋을 사용하여 Llama2-7b 및 Llama2-13b 모델 파인튜닝 목표 설정
• 데이터 변환: JSON 형식의 데이터셋을 채팅 파인튜닝에 적합한 .jsonl 형식으로 변환
• 데이터 샘플링: GPT-4의 Code Interpreter를 사용하여 데이터셋에서 10,000개의 행을 선택
• 검증 세트 생성: 훈련 데이터와 중복되지 않는 1,000개의 고유한 SQL 행을 검증 세트로 선정하여 LangSmith에 업로드 및 자동화된 평가 수행