마이크로소프트가 수천 개의 프로덕션 AI 에이전트를 배포하는 방법

마이크로소프트는 현재 8만 개 이상의 기업이 Microsoft Foundry를 통해 AI 에이전트와 애플리케이션을 구축하고 있다. Microsoft 365 Copilot의 경우 월간 활성 사용자(MAU)가 2,000만 명을 넘어서며, 자체 에이전트 사용량은 올해 들어 6배 성장했다.

프로토타입 에이전트와 실제 Production 환경의 에이전트는 근본적으로 다르다. 모델 자체의 문제보다는 에이전트가 사용하는 데이터, 호출하는 도구(Tools), 사용자 대응 방식, 그리고 환경 변화에 따른 품질 저하(Drift)가 주요 실패 원인으로 꼽힌다.

마이크로소프트는 대규모 에이전트 운영을 위해 다음과 같은 핵심 엔지니어링 전략을 사용한다.

• Retrieval-as-a-subagent: 검색 기능을 하위 에이전트 형태로 구현하여 복잡한 작업 수행.
• Identity & Action: 에이전트에게 고유한 신원(Identity)과 직접 행동할 수 있는 권한 부여.
• Context Management: 에이전트 성능의 핵심인 컨텍스트(Context) 최적화.
• Evaluation: 루브릭(Rubric) 기반의 평가와 자동 개선 루프(Auto-improvement loop)를 통한 품질 관리.