토큰 효율성 극대화하기: Copilot의 컨텍스트 처리 및 모델 라우팅 개선 방식

GitHub Copilot이 단순한 코드 완성을 넘어 계획, 편집, 디버깅을 수행하는 에이전트(Agentic) 역할을 수행함에 따라, 토큰 사용의 효율성을 높이는 것이 핵심 과제로 떠올랐습니다. 이를 위해 GitHub은 컨텍스트 재사용성을 높이고 작업에 최적화된 모델을 자동으로 선택하는 기술을 도입했습니다.

VS Code용 GitHub Copilot은 두 가지 주요 개선 사항을 통해 효율성을 높입니다.

• 프롬프트 캐싱(Prompt Caching): 반복되는 프롬프트 접두사(Prefix)를 매번 재계산하지 않고 재사용하여 비용과 시간을 절감합니다.
• 도구 검색(Tool Search): 모든 도구 정의를 매번 전송하는 대신, 필요한 시점에만 도구 스키마를 로드하여 컨텍스트 부하를 줄입니다.

또한, Auto 기능을 통해 개발자가 직접 모델을 선택할 필요 없이 작업 성격에 맞는 최적의 모델을 자동으로 할당합니다.

• 실시간 모델 상태 반영: 모델의 가용성, 속도, 오류율, 비용 등을 실시간으로 추적하여 가장 준비된 모델로 라우팅합니다.
• HyDRA 기반 태스크 인식 라우팅: 추론 깊이, 코드 복잡도, 디버깅 난이도 등을 고려하는 라우팅 모델인 HyDRA를 사용하여, 단순 작업에는 효율적인 모델을, 복잡한 작업에는 강력한 추론 모델을 배치합니다.