Microsoft, 합성 데이터로 Copilot 표준 평가 기준선 구축

Microsoft Copilot을 위한 첫 표준화된 평가 기준선을 수립하기 위해 Industry Evaluation Data Generation Platform을 개발함. 민감한 고객 정보 없이 복잡한 테스트 데이터를 생성하는 필요성을 해결함.
O*NET, 채용 공고, SEC 공시 등 공개 자료를 기반으로 한 합성 기업 환경은 종합 품질 점수를 39% 향상시켰으며, 일부 산업별 환경은 1.0점 만점에 0.9점을 초과함.
산업별 쿼리를 생성하는 자동화 6단계 파이프라인을 통해 데이터셋 생성 과정을 수일간의 수동 작업에서 자동 실행으로 전환하고, 총 프로젝트 비용 약 30만 달러를 절감함.
제약, 자본 시장, IT/소프트웨어 세クター에서 동적이고 시간 흐름에 따라 변화하는 조직을 시뮬레이션하여, Copilot을 현실적이고 도메인 특화적인 워크플로우에 대해 테스트함.
프라이버시와 안전성을 설계 단계에서 내장하여 모든 데이터가 완전히 합성되고 유해하거나 개인 식별 가능한 자료로 스크리닝되도록 함. 이를 통해 팀들은 프라이버시 검토 부담 없이 데이터셋을 재사용할 수 있음.
플랫폼은 크로스팀 재사용을 위해 내부 공유 카탈로그에 게시되어, Microsoft Copilot의 재현 가능한 회귀 테스트와 벤치마킹을 가능하게 함.

핵심 내용