SMU·Meta AI 연구자, Jev 추천 재순위화 모델의 LLM 대비 성능·지연 우위 발표

Singapore Management University의 Hanjia Lyu와 Meta AI의 Yinglong Xia가 추천 시스템 재순위화 단계에서 TypeSafe AI의 결정 지향 모델 Jev와 LLM(Qwen2.5 7B Instruct), 추천 특화 모델(SASRec, DCNv2)의 품질 및 지연 시간을 비교한 실증 연구를 공개했습니다. 논문에는 TypeSafe AI와의 관계나 API 지원 여부에 대한 언급은 없습니다.

성능 및 지연 시간 비교

Jev는 후보 수가 많을수록 포인트와이즈 방식의 LLM 대비 Hit Rate@10과 MRR에서 우위를 보였으며, 지연 시간은 포인트와이즈 Qwen보다 약 9.7~17배 짧았습니다. 12개 실험 조건 중 11개에서 Jev가 품질-지연 측면에서 비열(non-dominated) 경계에 위치했습니다.

• Video Games & Books: Jev가 모든 후보 수(20~200개)에서 최고 성능을 기록했습니다. Books 후보 200개 조건에서 Jev의 Hit Rate@10은 0.251로 Qwen Pointwise(0.161)보다 약 1.6배 높았으며, MRR도 0.140으로 Qwen(0.074)의 약 1.9배에 달했습니다.
• Movies and TV: 후보 200개 조건에서는 SASRec의 원본 1단계 검색 순서가 Hit Rate@10 0.170, MRR 0.093으로 Jev(각각 0.150, 0.080)보다 높게 나타나, 특정 조건에서는 재순위화보다 원본 순서 유지가 나을 수 있음을 시사했습니다.
• 지연 시간: Jev(호스팅 API)는 후보 200개에서 627~967ms를 기록한 반면, 로컬 GPU에서 실행된 Qwen Pointwise는 후보 수에 비례해 6,060~14,868ms까지 급증했습니다. SASRec와 DCNv2는 1ms 미만으로 가장 빨랐습니다.

연구 한계 및 시사점

Jev의 아키텍처와 서빙 내부 구조가 비공개되어 성능 차이의 원인을 모델 자체인지 서빙 환경인지 명확히 구분하기 어렵습니다. 또한 LLM 비교 대상이 Qwen2.5 7B Instruct 단일 모델이며, 추천 데이터 미세조정이나 서빙 최적화 여부가 불명확합니다. 통계적 유의성 검정과 반복 실행 결과가 보고되지 않아 차이가 작은 조건에서의 순위 단정에는 주의가 필요합니다. 결론적으로 구조화된 결정 방식을 채택한 Jev가 포인트와이즈 LLM 대비 효율적인 작동 지점일 수 있으나, 영역과 후보 수에 따라 최적의 전략이 달라질 수 있음을 보여줍니다.