LLM 라우팅 라이브러리 LLMRouter 공개

LLM 프로덕션 환경에서 쿼리에 적합한 모델을 선택하는 것은 비용 절감의 핵심 요소이지만, 그동안 라우터의 성능을 비교할 공통된 기준이 없었다.

Tao Feng 연구팀은 이를 해결하기 위해 LLMRouter 라이브러리와 xRouteBench 벤치마크를 함께 공개했다. LLMRouter는 16개 이상의 라우터 구현을 단일 인터페이스로 제공하며, xRouteBench는 일반 LLM, 메모리 증강, 비전, 시계열, 개인화 라우팅 등 다양한 태스크를 포괄한다.

주요 특징은 다음과 같다:

• 성능 우위: 학습된 라우터(Learned Routers)가 강력한 고정 모델 베이스라인 대비 상대적으로 14.6% 높은 성능을 기록했다.
• 구조적 프레임워크: 라우팅을 컨텍스트 인코더, 모델 인코더, 스코어링 함수, 결정 규칙, 학습 신호 등 5가지 구성 요소로 이루어진 **순차적 의사 결정 과정(Sequential Decision Process)**으로 정의했다.
• 비용 및 개인화: 경량 라우터의 비용 효율성과 사용자 기반의 개인화 라우팅 성능을 입증했다.

이번 오픈소스 공개를 통해 라우터 성능 비교가 단순한 마케팅 수단에서 엔지니어링 측정의 영역으로 전환될 것으로 기대된다.