Microsoft, 화면 녹화를 AI 에이전트 스킬로 변환하는 'Skill Recorder' 공개

Skill Recorder는 사용자의 화면 녹화 데이터를 기반으로 AI 에이전트가 수행할 수 있는 **구조화된 스킬(SKILL.md)**과 **자동화(Automation)**를 생성하는 도구입니다.

기존 RPA가 좌표 기반의 클릭을 재현하여 환경 변화에 취약했던 것과 달리, 이 도구는 녹화된 내용을 **해석(Interpretation)**하는 방식을 취합니다. 클릭 좌표 대신 gh CLI나 web_fetch 같은 에이전트의 네이티브 도구를 사용하여 '검색'이나 '정보 추출' 같은 의미론적 행위를 기록합니다. 이를 통해 한 번의 예시만으로도 다양한 상황에 적용 가능한 일반화된 스킬을 만들 수 있습니다.

주요 특징 및 작동 방식:

• 데이터 구성: 화면 전환, 방문 페이지 URL, 클립보드 미리보기, 선택적 음성 설명을 기록합니다.
• 로컬 중심 처리: 녹화, 저장, 프레임 추출, Whisper 기반 음성 받아쓰기는 모두 **사용자 컴퓨터(로컬)**에서 수행되어 보안을 강화했습니다.
• 분석 및 생성: 사용자가 'Analyze'를 누를 때만 추출된 데이터가 GitHub 클라우드로 전송되어 GitHub Copilot을 통해 단계별 절차로 재구성됩니다.
• 사용자 검토: 재구성된 단계는 사용자가 직접 수정하거나 순서를 바꿀 수 있어, 잘못된 절차가 스킬로 굳어지는 것을 방지합니다.

기술 사양 및 라이선스:

• 라이선스: MIT 라이선스로 공개되어 개인 및 상업적 이용이 자유롭습니다.
• 지원 환경: macOS를 주력으로 지원하며, Windows 11(x64/ARM64)도 지원합니다.
• 전제 조건: GitHub Copilot이 활성화된 GitHub 계정이 필요합니다.