返回
发布于 2026-09-02 09:03 · 7 次阅读

Skill Recorder：微软开源，录一遍操作，让 AI Agent 学会你的工作流程

Skill Recorder：微软开源，录一遍操作，让 AI Agent 学会你的工作流程

GitHub 仓库：https://github.com/microsoft/skill‑recorderGitHub

传统想让 AI Agent 完成一套复杂业务流程，往往需要手写提示词、编写 SOP 文档、撰写技能文件，梳理意图、拆解步骤，门槛很高。微软开源的 Skill Recorder，换了一条新思路：你把任务亲手操作演示一遍，工具记录操作过程，借助 GitHub Copilot 解析，直接生成 AI 智能体可以复用的工作技能。

它不是普通录屏软件，也不等同传统 RPA。RPA 是记录鼠标坐标、像素界面，机械回放点击，页面改版就直接失效；Skill Recorder 不回放 UI 点击，而是抽象出任务意图与业务步骤，优先调用 Agent 原生工具（gh、web_fetch等）完成任务，具备泛化能力，录制一次表单提交，AI 可以举一反三处理同类表单场景CSDN博...。

核心工作原理

Skill Recorder 捕获本机真实工作会话：窗口切换、应用跳转、浏览器页面、屏幕画面、剪贴板信息，还支持录制你的口述讲解。录制阶段全部数据保存在本地，不会上传云端；当你执行分析操作后，数据交给 GitHub Copilot CLI，还原出整体任务意图与有序操作步骤。经过人工审核修改确认后，可以输出两种产物GitHub：

  1. Skill（技能）：输出SKILL.md流程文件，AI Agent 可以按需调用执行；
  2. Automation（自动化）：同样的业务流程，配置定时、触发条件自动运行。

完整使用四步流程

1. 🔴 Record 录制

启动软件，使用全局快捷键 ⌘⇧R（macOS） / Ctrl+Shift+R（Windows）开启录制，正常完成手头工作任务。后台静默采集屏幕活动，不需要改变你的操作习惯GitHub。

2. 🎛️ Control 录制控制

录制过程悬浮控制条常驻桌面，可以随时开关麦克风、切换麦克风设备、静音；录制不满意可以直接丢弃本次记录，确认没问题再结束录制。口述旁白可以用来补充操作思路，帮助 AI 更好理解你的目的，语音转写在本地设备完成，支持 Whisper 模型 99 种语言，首次使用会下载约 252MB 模型文件GitHub。

3. 🧠 Analyze AI 解析

点击 Analyze，如果你尚未登录 GitHub Copilot，会引导完成账号授权。Copilot 基于录制素材生成：任务总意图 + 有序步骤清单。支持人工编辑修正，AI 生成的步骤不一定完全准确，需要校对调整，保证逻辑符合真实业务。

⚠️注意：点击 Analyze 之后，录制事件时间线、屏幕截图、口述文本会发送到 GitHub 云端进行 AI 处理，录制阶段数据不会外传GitHub。

4. ✨ Create 生成产物

校对完成，一键生成SKILL.md技能文件，或者创建定时触发的自动化任务，交给 AI Agent 重复执行这套工作流程GitHub。

支持平台与安装方式

项目为源码发布模式，不会全局安装依赖。

  • 主要支持：macOS；Windows11（x64、ARM64）；Ubuntu Linux。
  • 前置条件：拥有 GitHub 账号，并且开通 Copilot 访问权限GitHub。

安装时前往项目 Release 页面，复制对应系统脚本执行，脚本会自动下载固定版本 Node.js 运行时，在本地编译构建项目，生成桌面应用程序。

  • macOS/Ubuntu 脚本：
commit="<40‑character‑release‑commit>"; curl -fsSL "https://raw.githubusercontent.com/microsoft/skill‑recorder/$commit/install.sh" | SKILL_RECORDER_COMMIT="$commit" bash
  • Windows PowerShell 脚本：
$commit="<40‑character‑release‑commit>"; $env:SKILL_RECORDER_COMMIT=$commit; irm "https://raw.githubusercontent.com/microsoft/skill‑recorder/$commit/install.ps1" | iex

macOS 安装完成后程序放置在~/Applications目录；Windows 会在桌面与开始菜单创建快捷方式。首次打开需要授予屏幕录制权限，否则无法采集画面信息GitHub。

采集哪些数据？隐私安全提醒

本地采集内容（录制阶段不上传）

  • 窗口切换、应用激活状态
  • 浏览器访问 URL（macOS）
  • 屏幕画面快照（仅屏幕发生变化时保存）
  • 剪贴板文本预览
  • 麦克风口述语音（可选，本地完成语音转写）

⚠️重要安全警告：录制过程千万不要输入、粘贴、口述密码、密钥、Token 等敏感机密信息。一旦执行 Analyze 分析，这些内容会上传 GitHub 云端，造成信息泄露风险。工具每次录制前都会给出安全提醒GitHub。

开发与开源信息

  • 协议：MIT 开源协议，微软开源项目，欢迎提交 Issue、PR 参与贡献，提交 PR 需要签署 CLA 贡献协议。
  • 源码开发环境：Node.js 24，克隆仓库后使用npm ci、npm run dev启动 Electron 开发版本。
  • 配套文档：INSTALL.md（安装、更新、卸载）、RELEASING.md（版本发布手册）、evals/README.md（AI 解析效果评估套件）。
  • 问题反馈：GitHub Issues，不公开提交安全漏洞，安全问题参照SECURITY.md走微软漏洞协调上报流程GitHub。

适用场景与局限

✅适合场景

  1. 高频重复办公流程：信息查询、表单填报、数据复制整理、网页处理；
  2. 沉淀老员工隐性工作经验，把口头 SOP 通过演示变成 AI 可执行的技能；
  3. AI Agent 能力扩展，快速制作自定义技能，免去手写大段提示词。

❌局限

  1. 依赖 GitHub Copilot 服务，没有 Copilot 账号无法使用 AI 解析能力；
  2. AI 生成步骤存在出错概率，必须人工审核修改，不能直接信任输出结果；
  3. 不是万能自动化，复杂多变业务场景，泛化能力会受限，不能完全替代 RPA、脚本开发。