에이전트 호출 중 실제로 frontier model이 필요한 비율은?

NVIDIA NeMo Switchyard는 에이전트 워크플로의 각 단계에 필요한 모델을 자동으로 선택하는 오픈소스 라우팅 라이브러리다. 모든 호출을 frontier model에 보내는 대신, 단순한 작업은 저렴한 오픈 모델로 처리하고 복잡한 작업만 고성능 모델로 라우팅한다.

Deep Agents 평가 스위트에 Switchyard를 적용한 결과, 전체 호출 중 frontier model로 라우팅된 비율은 **7%**에 불과했다. 나머지 **93%**는 30B 파라미터 모델인 NVIDIA Nemotron 3.5 Lightning이 처리했다.

Claude Opus 4.8 단독 사용과 비교하면, Nemotron과 Opus를 조합한 라우팅 방식은 전체 비용을 74% 절감했다. 같은 호출 기준으로 Opus 단독 성능의 약 93% 정확도를 유지했다.

Switchyard는 에이전트가 연결하는 프록시로 실행하거나 에이전트 프로세스 내부의 미들웨어로 사용할 수 있으며, 폐쇄형 모델과 오픈 모델을 조합해 구성할 수 있다. 라우팅 전략은 비용과 정확도, 지연시간 사이의 균형에 따라 선택된다.

라우팅 도입 여부는 모델 가격 차이와 실제 오프로딩 비율을 먼저 계산해 판단해야 한다. 두 모델의 가격이 비슷하면 손익분기점에 필요한 오프로딩 비율이 100%를 넘어 라우팅이 경제성을 갖기 어렵고, 저렴한 모델을 직접 호스팅할 때에만 비용 절감이 가능할 수 있다.