Sentence Transformers v6.0, 멀티벡터 학습 지원

Sentence Transformers v6.0 업데이트에서 MultiVectorEncoder 모델 유형이 추가되어 ColBERT 스타일의 레이트 인터랙션 검색을 위한 완전한 학습 및 파인튜닝 접근법을 제공한다.

기존 단일 벡터 모델과 달리 멀티벡터 모델은 토큰별 벡터를 유지하여 MaxSim 연산자를 통해 정밀한 검색 신호를 보존한다. 이는 단일 벡터 모델이 평균화하여 잃어버리는 세밀한 도메인 신호를 포착하는 데 유리하다.

특히 기존 공개 모델들이 짧은 패스지(180~300 토큰)에 최적화되어 있어 긴 문서에서 성능 저하가 발생하지만, 자체 학습을 통해 문서 길도를 데이터에 맞게 설정할 수 있다. 저자는 단일 RTX 3090에서 14.5시간 동안 의료 도메인 데이터를 활용해 파인튜닝한 모델이 일반 목적 검색 모델들을 능가하는 결과를 얻었다.