SilverTorch: Index as Model — 추천 시스템을 위한 새로운 검색 패러다임

기존 추천 시스템의 검색(Retrieval) 단계는 여러 마이크로서비스가 복잡하게 얽힌 구조였다. 사용자 임베딩을 생성하는 유저 타워, 아이템을 찾는 검색 서비스, 점수를 매기는 스코어링 서비스가 각각 독립적으로 운영되었다. 이 방식은 서비스 간 데이터 이동으로 인한 지연 시간(Latency) 증가, 모델 버전 간의 불일치, 그리고 개발 환경의 파편화 문제를 야기하며 성능의 한계를 만들었다.

이를 해결하기 위해 도입된 SilverTorch는 Index as Model이라는 새로운 패러다임을 제시한다. 검색 시스템 전체를 하나의 **단일 신경망(Single Neural Network)**으로 재설계하여, 기존의 마이크로서비스들을 모델 내부의 모듈로 통합했다. 이제 아이템 인덱스는 모델 내부의 **텐서(Tensor)**로 존재하며, 사용자가 앱을 열 때 단 한 번의 모델 실행만으로 검색, 필터링, 재순위화(Reranking) 및 스코어링을 모두 완료한다.

SilverTorch는 기존 방식 대비 압도적인 성능 향상을 입증했다.

• 23.7배 높은 처리량(Throughput): 동일 아키텍처 기반의 기존 멀티 서비스 방식 대비 초당 요청 처리 수가 대폭 증가했다.
• 20.9배 높은 비용 효율성: CPU 기반 솔루션 대비 총 소유 비용(TCO) 효율을 크게 개선했다.
• 추천 품질 향상: 엄격한 지연 시간 제한 내에서도 **신경망 재순위화(Neural Reranking)**와 멀티태스크 스코어링을 실용적으로 구현하여 추천의 정확도를 높였다.