Markov Chain 라우팅, 코사인 유사도 제치고 의도 분류 우위

방법론

직접 코사인 유사도는 표면 키워드 때문에 쿼리를 잘못 라우팅하는 경우가 많다. 제안된 Semantic Triage 엔진은 쿼리를 60노드 도메인 매니폴드에 투영하고 GPU에서 Absorbing Markov Chain($B = (I - Q)^{-1} * R$)을 계산한다. 이 방식은 LLM 호출 없이 Idempotency Key -> Replica Write -> WAL Lock 같은 의미 경로를 추적해 올바른 도메인으로 흡수한다.

성능 벤치마크

JevBench 결과는 LLM 기반 계층 대비 제로 토큰 접근 방식의 효율성 향상을 보여준다.

• Tier 0 (AMC + EmbeddingGemma2): p50 지연 시간 22ms, 정확도 100% (11/11 항목).
• Tier 1 (Gemma4 26B A4B): p50 지연 시간 42ms, 정확도 91.49% (172/188 항목).
• Tier 2 (Gemma4 + CoT): p50 지연 시간 1,560ms, 정확도 75.61% (31/41 항목).
• 4-Tier Cascade (Gevva0): p50 지연 시간 46ms, 정확도 89.17% (214/240 항목).

지연 시간 및 안전성

지연 시간은 컨텍스트에 따라 달라진다. 캐시된 후보를 사용하는 짧은 프롬프트는 ~1.5ms, 400토큰 컨텍스트에서 본 적 없는 동적 옵션을 임베딩하는 경우 ~22ms다. 시스템에는 Negation & Syntax, Manifold Proximity (OOD), Entropy & Margin Gate 등 세 가지 안전 장치가 포함된다.