Copilot Applied Science의 에이전트 기반 개발

방대한 양의 **에이전트 궤적(trajectory)**을 분석하는 작업은 AI 연구원에게 막대한 지적 노동을 요구한다. TerminalBench2나 SWEBench-Pro 같은 벤치마크 분석 시 발생하는 수십만 줄의 JSON 데이터를 수동으로 검토하는 것은 사실상 불가능하기 때문이다.

이를 해결하기 위해 탄생한 **eval-agents**는 반복적인 분석 작업을 자동화한다. 개발자는 Copilot CLI, Claude Opus 4.6, VSCode를 조합한 에이전트 기반 코딩 환경을 구축하여 개발 속도를 극대화했다. 특히 Copilot SDK를 활용해 기존 도구와 MCP 서버를 즉시 사용함으로써 에이전트 생성 과정을 가속화했다.

효율적인 에이전트 활용을 위한 세 가지 핵심 전략은 다음과 같다:

• 프롬프팅 전략: 대화형으로 상세하게 요청하며, 에이전트 모드 실행 전 **플래닝 모드(planning mode)**를 활용한다.
• 아키텍처 전략: 빈번한 리팩토링, 문서 업데이트 및 코드 정리를 병행한다.
• 반복 전략: "신뢰하되 검증하라(trust but verify)"는 원칙 아래, 에이전트가 아닌 프로세스를 개선하는 데 집중한다.

이러한 접근법을 통해 단 3일 만에 5명의 팀원이 11개의 새로운 에이전트와 4개의 스킬을 추가했으며, 총 28,858줄의 코드를 작성하는 놀라운 생산성을 기록했다.