Wayfinder Router: 로컬 및 호스팅 LLM 간의 결정론적 쿼리 라우팅

Wayfinder Router는 프롬프트의 구조적 특징(길이, 헤딩, 리스트, 코드 포함 여부)과 어휘적 단서(수학, 증명, 제약 조건 등)를 분석하여 쿼리를 로컬 모델 또는 클라우드 모델로 전달하는 도구입니다.

기존의 RouteLLM이나 Martian과 같은 라우터들이 별도의 모델 호출(Classifier 또는 LLM Judge)을 통해 경로를 결정하여 지연 시간과 비용이 발생하는 것과 달리, Wayfinder는 결정론적(Deterministic) 구조 분석을 사용합니다.

주요 특징:

• Zero Model Call: 경로 결정을 위해 추가적인 모델 호출이 필요 없어 지연 시간이 거의 없으며 비용이 발생하지 않습니다.
• Fully Offline: 네트워크 연결 없이 로컬에서 즉시 실행 가능합니다.
• Customizable: 사용자 데이터를 바탕으로 임계값을 조정(Calibrate)할 수 있습니다.
• Cost Efficiency: 단순 요약이나 오타 수정 같은 저난도 작업은 로컬 모델로, 복잡한 작업은 고성능 클라우드 모델로 자동 배분하여 비용을 최적화합니다.