KaLM-Reranker-V1 공개

기존의 Encoder-Decoder 또는 Encoder-only 기반 Reranker는 쿼리와 패시지를 동시에 인코딩하여 연산 효율과 유연성이 제한되는 문제가 있었습니다.

KaLM-Reranker-V1은 이를 해결하기 위해 쿼리와 패시지의 연산을 분리한 FBNL(Fast but Not Late Interaction) 구조를 채택했습니다. Encoder-Decoder 아키텍처를 기반으로 하며, Encoder는 Matryoshka embedding pooling을 통해 패시지를 사전 인코딩하고, Decoder는 쿼리의 의도를 모델링한 뒤 Cross-attention을 통해 두 정보 간의 관련성을 포착합니다.

모델은 Nano(0.27B), Small(1B), Large(4B) 세 가지 크기로 제공됩니다.

주요 성과는 다음과 같습니다:

• BEIR 벤치마크: Qwen3-Reranker 시리즈와 대등한 SOTA(State-of-the-art) 성능 달성
• MIRACL: 다국어 데이터 학습이 집중되지 않았음에도 우수한 성능 입증
• LMEB: 0.27B Nano 모델이 7-12B 규모의 Embedding 모델과 경쟁 가능한 수준의 성능을 보임