Apple, MCP 사양만으로 AI 에이전트 평가 시나리오 자동 생성하는 'Agent Seer' 공개

Apple 연구진이 Agent Seer를 공개했다. 이는 외부 도구를 사용하는 AI 에이전트를 평가하기 위해, Model Context Protocol (MCP) 사양만으로도 실제적인 테스트 시나리오를 자동으로 합성하는 파이프라인이다.

기존 방식은 도메인 전문가의 수동 작성에 의존해 확장성이 낮고 진화하는 API를 반영하지 못했다. Agent Seer는 함수 이름, 자연어 설명, 타입 매개변수 스키마 등 사양에 내재된 의미 정보를 활용하여 예제나 실시간 도구 접근 없이 시나리오를 생성한다.

주요 특징 및 성과

• 자동화된 시나리오 생성: 원본 스키마를 풍부하게 하고, 합성 도구 출력이 포함된 단계별 시나리오를 생성한 뒤, 이를 모의 데이터 기반의 다중 턴 대화로 확장한다.
• 높은 정확성: 7개의 다양한 도메인 MCP 사양에서 테스트한 결과, 도구 호출 정확성과 대화 일관성이 우수하며, 소형 및 중형 사양에서는 완전한 도구 커버리지를 달성했다.
• 품질 영향 요인 분석: 매개변수 스키마 복잡도가 품질 변동의 가장 큰 상관관계 요인이며, 도구 세트 크기는 상대적으로 작은 영향을 미친다. 또한, 거친 이름 매칭 지표로는 보이지 않는 '인자 값 정확성'이 불완전한 시나리오의 주요 실패 요인으로 확인되었다.