Sentence Transformers v4.0, Reranker 학습 지원

Sentence Transformers v4.0 업데이트의 핵심은 Reranker(Cross-Encoder) 모델을 위한 새로운 학습 접근법을 도입했다는 점이다. Reranker는 쿼리와 문서 쌍을 동시에 처리하여 관련성을 평가하므로, 기존 Bi-Encoder(임베딩) 방식보다 정교한 검색 성능을 제공한다.

이번 가이드는 Reranker 모델 구축을 위한 핵심 구성 요소를 상세히 다룬다:

• 데이터셋: 로컬 데이터(CSV, JSON, Parquet 등) 활용 및 Hard Negatives Mining을 통한 데이터 품질 향상 방법
• 학습 구성: 적절한 손실 함수(Loss Function), 학습 인자(Training Arguments), 그리고 Trainer 클래스 활용법
• 평가: 다양한 Evaluator를 통한 모델 성능 검증

실제로 이 방식을 통해 학습된 ModernBERT 기반 Reranker 모델은 기존의 대규모 범용 Reranker 모델들을 능가하는 성능을 기록하며, 특정 도메인 데이터에 최적화된 강력한 모델을 직접 구축할 수 있음을 입증했다.