Micro-Agent: 모델 API 내부의 협업을 통해 프론티어 모델을 압도하라

단순한 모델 라우팅을 넘어, vLLM Semantic Router는 모델 API 호출 한 번을 여러 모델 간의 협업 프로세스로 변환하는 새로운 추상화 계층을 제안합니다. 사용자는 기존과 동일한 단일 모델 API를 호출하지만, 서버 측 라우터가 내부적으로 최적의 알고리즘을 실행하여 결과물을 생성합니다.

이 시스템의 핵심인 Looper는 다음과 같은 주요 실행 패턴을 지원합니다:

• Confidence: 저비용 모델로 시작하여 신뢰도가 낮을 경우에만 상위 모델로 에스컬레이션하는 비용 효율적 루프
• Ratings: 여러 후보 모델을 병렬 실행한 뒤 가중치를 적용하여 결과를 집계하는 팬아웃(Fan-out) 루프
• ReMoM (Repeated Mixture-of-Model Reasoning): 광범위한 샘플링 후 최종 합성을 수행하는 반복적 추론
• Fusion: 독립적인 모델 응답들을 판사(Judge) 모델이 검토하여 최종 답변을 도출하는 패턴
• Workflows: 정적 역할 또는 동적 플래너를 통해 워크플로우를 실행하는 마이크로 에이전트 런타임

이 기술은 복잡한 에이전트 그래프를 애플리케이션 레벨에서 직접 구축할 필요 없이, **서빙 계층(Serving Layer)**에서 협업을 통해 모델의 성능을 극대화하는 것을 목표로 합니다.