GitHub Copilot, 토큰 절감보다 작업 완수 효율성 높이는 4가지 최적화 적용

AI 코딩 에이전트의 효율성은 개별 상호작용의 토큰 수가 아닌, 올바른 컨텍스트를 통해 작업을 얼마나 빠르고 정확하게 완수하는가에 달려 있다. GitHub Copilot은 토큰 절감만 추구할 경우 정보 누락으로 인한 재시도가 발생해 오히려 비용과 시간이 증가하는 문제를 해결하기 위해 4가지 변경 사항을 적용했다.

토큰 절감의 함정

단순히 도구 호출의 출력 길이를 줄이는 방식은 비효율적일 수 있다. 예를 들어 RTK(Rust Token Killer) 같은 유틸리티로 셸 출력을 단축했을 때, 모델이 필요한 정보를 잃어버려 원본을 다시 읽거나 명령어를 재실행하는 경우가 발생했다. 이는 개별 응답은 짧아졌지만 전체 작업의 토큰 사용량과 소요 시간을 증가시키는 결과를 낳았다.

노이즈 압축과 정보 보존 전략

GitHub Copilot은 반복적인 노이즈는 줄이되 에이전트가 작업을 수행하는 데 필요한 핵심 정보는 보존하는 선택적 출력 압축기를 도입했다. 벤치마크 테스트를 통해 초기의 과도한 압축이 모델의 반복 작업을 유발함을 확인하고, 다음과 같은 3단계 정책을 수립했다.

• 원본 유지: cat, git diff 등 소스 코드나 임의의 명령어 출력은 변경하지 않고 그대로 전달한다.
• 검색 결과 재구성: grep 등의 검색 결과는 모든 항목을 유지하되 더 효율적인 형태로 그룹화한다.
• 반복 노이즈 압축: 설치, 빌드, 테스트, 진행 상황 출력 등 예측 가능한 반복적인 노이즈만 압축한다.

압축된 출력은 에이전트가 필요할 경우 원본을 즉시 복구할 수 있는 경로를 제공한다. 이 복구 경로는 안전장치이자, 에이전트가 원본을 다시 열어보는 빈도를 추적하여 압축 전략의 적정성을 평가하는 지표로 활용된다. 이러한 개선은 GitHub Copilot CLI를 포함해 Copilot 앱, 코드 리뷰 등 동일한 하네스를 사용하는 모든 제품에 적용되어 효율성을 높인다.