Cursor Router는 작업에 맞는 모델을 어떻게 선택하는가

Cursor Router는 실제 개발 작업에서 모델이 어떻게 수행되는지를 학습해, 각 요청에 가장 적합한 모델을 선택한다. 7월 22일 출시된 Auto Intelligence와 Auto Balance 모드는 이후 새로운 모델과 운영 트래픽을 반영하며 개선됐다.

현재 Auto Intelligence는 비용을 68% 낮추면서 Fable 수준 이상의 사용자 만족도를 제공한다. Auto Balance는 비용을 41% 절감하면서 Opus 4.8을 앞서고, 출시 이후 사용자 만족도도 3% 높아졌다.

라우팅은 두 단계로 진행된다.

• Compass가 현재 요청이 저렴한 모델로 처리할 만큼 단순한지 예측한다.
• 더 복잡한 요청은 실제 개발 트래픽에서 학습한 작업·도메인·수정자 분류 체계를 바탕으로 최적의 frontier 모델을 선택한다.

학습 데이터는 실제 Cursor 트래픽에서 수집한 수십만 건의 대화 턴으로 구성됐다. 각 데이터에는 라우터가 활용할 수 있는 대화 신호와 함께 다음 두 가지 평가 지표가 포함된다.

• 성능: 사용자의 다음 행동으로 추정하며, 다음 작업으로 넘어가면 긍정 신호로, 에이전트를 수정하면 부정 신호로 본다.
• 비용: API 가격과 토큰 사용량으로 계산하며, 모델 전환으로 발생하는 캐시 미스 비용도 반영한다.

Compass는 각 턴에서 사용자가 응답에 만족할 가능성을 예측하고, 이를 복잡도의 대리 지표로 사용한다. 실제 온라인 평가에서 성공 가능성이 가장 높다고 평가된 요청은 96%가 긍정적인 성능 신호를 보였고, 가장 낮게 평가된 요청도 71%의 긍정 신호를 기록했다.

Compass는 0과 1 사이의 연속적인 복잡도 점수를 부여한다. 설정한 임계값보다 낮은 요청은 비용 효율적인 모델에 남고, 임계값을 넘는 요청은 frontier 모델로 업그레이드된다.