에이전트 실행 체계의 지속적 개선

Cursor는 에이전트 실행 체계를 모델에 맞춰 계속 조정하며, 동적 컨텍스트와 실험 기반 개선을 핵심 원칙으로 삼고 있다. 초기에는 lint/type error 노출, 파일 읽기 보정, 툴 호출 제한 같은 강한 가드레일로 품질을 끌어올렸지만, 지금은 필요한 정보를 에이전트가 스스로 더 많이 가져오도록 방향을 바꿨다.

품질 평가는 두 축으로 이뤄진다.

• CursorBench 같은 오프라인 벤치마크로 시계열 품질을 비교한다.
• 실제 사용자 트래픽에서는 A/B 테스트로 지연시간, 토큰 효율, 툴 호출 수, 캐시 적중률을 본다.
• 결과 품질은 Keep Rate(생성 코드 유지율)와 사용자의 후속 반응을 읽는 LLM 판정으로 측정한다.
• 더 비싼 컨텍스트 요약 모델은 품질 개선이 미미해 비용 대비 효용이 낮다는 결론도 얻었다.

툴 오류는 세션 전체를 망가뜨릴 수 있어 별도 관리 대상이다. InvalidArguments, UnexpectedEnvironment, ProviderError, UserAborted, Timeout 등으로 분류하고, unknown error가 늘면 즉시 경보를 울린다. 예상 오류는 툴·모델별 기준선을 두고 이상 탐지로 감시하며, 주간 Automation이 로그를 훑어 새 이슈를 티켓화하고 Cloud Agents로 다수의 수정 작업을 병렬로 돌린다. 이런 정비로 unexpected tool call errors는 약 10배 줄었다.

모델별 커스터마이징도 깊다. OpenAI 모델은 패치 기반 편집, Anthropic 모델은 문자열 치환에 익숙하다는 점을 반영해 각기 다른 툴 형식과 프롬프트를 제공한다. 새 모델이 오면 비슷한 기존 실행 체계에서 시작해 오프라인 eval과 실제 사용으로 튜닝하고, 컨텍스트가 길어지면 작업을 거부하던 context anxiety 같은 현상도 프롬프트로 완화한다.

대화 중 모델 전환은 더 까다롭다. Cursor는 전환 시 새 실행 체계로 자동 교체하고, 이전 모델의 툴을 잘못 호출하지 않도록 지시를 넣는다. 다만 캐시가 모델·프로바이더별이라 첫 턴 비용이 커질 수 있어, 깊은 작업에서는 한 모델을 유지하거나 subagent처럼 새 컨텍스트에서 시작하는 방식을 권한다.

결국 AI 소프트웨어 개발은 multi-agent로 향하고, 어떤 에이전트를 언제 호출하고 어떻게 결과를 엮을지는 개별 모델보다 실행 체계가 더 중요해진다.