Sentence Transformers 학습 가이드

Sentence Transformers v3.0은 프로젝트 시작 이후 가장 큰 업데이트로, 새로운 학습 방식을 도입했다. 이 가이드는 임베딩 모델을 RAG, 시맨틱 검색, 문장 유사도 측정 등 특정 태스크에 맞춰 파인튜닝하거나 처음부터 학습시키는 방법을 다룬다.

학습 프로세스는 다음과 같은 핵심 구성 요소로 이루어진다:

• Dataset: Hugging Face Hub 데이터나 CSV, JSON, Parquet 등 로컬 데이터를 활용할 수 있다.
• Loss Function: 모델의 성능을 측정하고 최적화 방향을 결정한다.
• Training Arguments: 학습 성능과 디버깅에 영향을 주는 파라미터를 설정한다.
• Evaluator: 학습 과정 중 또는 완료 후 모델의 성능을 평가한다.
• Trainer: 모델, 데이터셋, 손실 함수 등을 통합하여 실제 학습을 수행하는 핵심 엔진이다.

또한, 여러 데이터셋을 동시에 사용하는 멀티 데이터셋 학습과 학습 과정을 제어하는 콜백(Callbacks) 기능에 대해서도 상세히 안내한다.