AI BriefingEttin Reranker 6종 공개
Introducing the Ettin Reranker Family
·2026.05.19 09:00
핵심 내용
Hugging Face가 Ettin 기반 reranker 6종과 학습 레시피를 공개했다.
1 / 2
자세히 보기
Hugging Face가 Ettin ModernBERT 기반 Sentence Transformers CrossEncoder reranker 6종을 공개했다. 크기는 17M~1B까지 6단계로 나뉘며, 각 규모에서 SOTA라고 밝혔다.
- 학습은 pointwise MSE distillation으로 진행됐다.
- 교사 모델은
mixedbread-ai/mxbai-rerank-large-v2였다. - 데이터는
cross-encoder/ettin-reranker-v1-data를 사용했고,lightonai/embeddings-pre-training과lightonai/embeddings-fine-tuning의 일부를 섞어 만들었다.
실사용에서는 sentence_transformers.CrossEncoder로 바로 붙일 수 있고, retrieve-then-rerank 파이프라인에 맞춰 top-K 후보를 재정렬한다. 모든 모델은 최대 8K 토큰을 지원하며, bfloat16과 flash_attention_2를 쓰면 기본 대비 1.7x~8.3x 속도 향상을 제시했다.
아키텍처는 ModernBERT 계열 백본에 CLS pooling + Dense + LayerNorm 헤드를 얹은 구조다. AutoModelForSequenceClassification 대신 AutoModel을 써서 sequence unpadding과 Flash Attention 2를 활용하고, 저자는 CLS pooling이 mean pooling보다 더 좋았다고 설명했다. MTEB(eng, v2) Retrieval 결과도 함께 공개했다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
