14배 빠른 임베딩: Manticore에서 ONNX 경로를 재구축하는 방법

Manticore Search가 Manticore Search 27.1.5 버전을 통해 새로운 ONNX Runtime 백엔드를 출시했습니다. 기존의 SentenceTransformers/Candle 기반 경로에서 발생하던 CPU 자원 낭비와 병목 현상을 해결하기 위한 엔지니어링 결과물입니다.

주요 성능 향상 지표는 다음과 같습니다:

• 평균 14배 속도 향상: 동일한 하드웨어(16코어/32스레드) 및 동일 모델 기준, 기존 5~11 docs/sec에서 70~230 docs/sec 범위로 성능이 대폭 개선되었습니다.
• 지연 시간(Latency) 감소: 단일 클라이언트 기준 단일 삽입 지연 시간이 ~14ms로, 기존 200ms 이상에서 획기적으로 단축되었습니다.
• 병렬 처리 최적화: 클라이언트 스레드 수나 배치 크기에 관계없이 일관된 성능 향상을 제공하며, 특히 높은 배치 사이즈(32~128) 사용 시 최대 성능을 발휘합니다.

이번 업데이트는 intra_op_spinning 비활성화 및 워커 내부의 문서 배치 처리 방식을 변경함으로써 달성되었습니다. 이제 Hugging Face의 .onnx 파일을 지원하는 모든 모델은 Manticore에서 이 새로운 고속 경로를 기본적으로 사용하게 됩니다.