Ettin Reranker 6종 공개
Introducing the Ettin Reranker Family
Hugging Face가 Ettin 기반 reranker 6종과 학습 레시피를 공개했다.
Hugging Face가 Ettin ModernBERT 기반 Sentence Transformers CrossEncoder reranker 6종을 공개했다. 크기는 17M~1B까지 6단계로 나뉘며, 각 규모에서 SOTA라고 밝혔다.
- 학습은 pointwise MSE distillation으로 진행됐다.
- 교사 모델은
mixedbread-ai/mxbai-rerank-large-v2였다. - 데이터는
cross-encoder/ettin-reranker-v1-data를 사용했고,lightonai/embeddings-pre-training과lightonai/embeddings-fine-tuning의 일부를 섞어 만들었다.
실사용에서는 sentence_transformers.CrossEncoder로 바로 붙일 수 있고, retrieve-then-rerank 파이프라인에 맞춰 top-K 후보를 재정렬한다. 모든 모델은 최대 8K 토큰을 지원하며, bfloat16과 flash_attention_2를 쓰면 기본 대비 1.7x~8.3x 속도 향상을 제시했다.
아키텍처는 ModernBERT 계열 백본에 CLS pooling + Dense + LayerNorm 헤드를 얹은 구조다. AutoModelForSequenceClassification 대신 AutoModel을 써서 sequence unpadding과 Flash Attention 2를 활용하고, 저자는 CLS pooling이 mean pooling보다 더 좋았다고 설명했다. MTEB(eng, v2) Retrieval 결과도 함께 공개했다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.