LangChain, 코딩 에이전트 비용 64% 절감하는 모델 라우팅 미들웨어 공개

LangChain이 에이전트 하네스 내부에 구현되도록 설계된 모델 라우팅 미들웨어를 공개했다. 범용 게이트웨이는 도메인 및 작업 컨텍스트가 부족하지만, 하네스에 통합된 라우터는 특정 신호를 활용해 각 작업에 최적의 모델을 선택할 수 있다는 것이 핵심 논지다.

구현 및 아키텍처

라우터는 스레드의 첫 번째 사용자 메시지를 분석해 작업 복잡도와 유형을 판단한 후, 해당 세션 전체에서 모델 선택을 유지한다. 결정에는 Jev라는 분류기 모델을 사용하며, 이는 표준 LLM 구조화 출력 대비 분류 속도를 약 50배 개선했다. 시스템은 Artificial Analysis Intelligence Index를 기준으로 세 가지 티어를 지원한다:

• Fast: GLM-5.3-Flash (xhigh)
• Balanced: GPT-5.6 Sol (medium)
• Performance: GPT-6 Astra (low)

실험 결과

오픈소스 코딩 에이전트인 Open SWE를 사용한 실험에서, 라우터는 항상 최전선 모델(GPT-6 Astra)을 사용하는 기준선과 비교됐다. 973개 스레드에서 라우터는 코딩 작업당 중간 비용을 64% 절감($0.94 vs $2.61)했으며, 품질 지표에서는 통계적 동등성을 유지했다:

• 병합 PR 비율: 29.2% (라우터) vs 27.3% (대조군)
• PR 열림 비율: 38.9% (라우터) vs 39.6% (대조군)

라우팅 분포는 Balanced 티어(56%)가 가장 많았고, Fast(34%)와 Performance(10%)가 뒤를 이었다. 라우터를 Fast 전용 모델과 비교한 별도 실험에서는 출력 품질이 크게 저하되어 조기 중단됐다.

향후 방향

LangChain은 스레드 중간 재라우팅(현재 프롬프트 캐시 문제로 미지원)과 트레이스에서 사용자 감정을 분석해 라우팅 기준을 정교화하는 것 등을 향후 개선 과제로 제시했다. 회사는 새로운 모델이 등장하더라도 모델-무관 인터페이스 덕분에 에이전트를 재구축하지 않고 티어를 교체할 수 있다고 강조했다.