跳到正文
Reeve
Esc
本栏目菜单

远程桌面协同:让 AI 操作 Windows 电脑

想让 AI 帮你在另一台 Windows 电脑上干活——看看屏幕上是什么、点开某个程序、往输入框里填字——又不想开远程桌面(Win11 家庭版本来也没有)?Reeve 经已有的 SSH 连接在那台电脑上运行 AgileShot 的 MCP 程序,把它的截图、读界面、点击、输入能力交给 AI 助手,也交给 Claude Code 等连上 Reeve MCP 的客户端,每一步照样过审批、写审计。同一套方式还能接那台电脑上的智码 AICoder,让 AI 用那里的项目、会话和内置浏览器,见下文远程电脑上的智码 AICoder。

Reeve 内置 AI 助手 / Claude Code、Codex、claude.ai 等 MCP 客户端
  └─ 外部工具网关(复核清单 / 参数危险扫描 / 分档审批 / 脱敏 / 审计)
       └─ 经 SSH 在那台电脑上运行 agileshot-mcp.exe(不开新端口)
            └─ AgileShot 主程序:截图、按控件点击、填写、启动程序

准备那台电脑

  1. 在 Reeve 里接入这台 Windows 电脑,并点一次测试连接,让 Reeve 认出它是 Windows
  2. 在那台电脑上安装 AgileShot,建议用最新版,至少 3.9.1:锁屏时后台操作、桌面页自动刷新从 3.9.0 起有,3.9.1 修好了锁屏时点击报超时、主程序卡住,3.9.3 起 AI 列控件的返回只有原来的约 1/4,更省 token。装好后:
    • 「MCP 接入 · 鼠键自动化」里把授权设为始终允许(不限时)
    • 「MCP 接入」里打开截屏、鼠键两项能力,并让 AgileShot 开机自启
  3. 保持登录,电源设置里关掉自动睡眠

AI 会以桌面登录的那个账号操作

AgileShot 只认桌面上登录的用户,所以这条连接用这台服务器的主账号,不用 AI 专用账号。添加时界面会写明「AI 将以 xxx 的身份操作这台电脑」。

第一步:添加外部服务

AI 助手 → 外部工具 → 添加 → 在顶部快速配置里点 AgileShot(Reeve 3.7.1 起;也可以手动把连接方式选成经 SSH 在服务器上运行、程序选 AgileShot):

  • 在哪台电脑上运行:只列出已识别为 Windows 的服务器;只有一台时会直接选上
  • 程序路径:选好电脑后自动找;没找到时点自动查找 AgileShot,从那台电脑的已安装程序里找 agileshot-mcp.exe

添加「经 SSH 在服务器上运行」的外部服务

保存后点测试连接。连接前会先检查一遍那台电脑:找不到程序直接报错;没人登录桌面、桌面上登录的账号和 SSH 账号不一致、电脑锁着屏,都会提醒你怎么办。

第二步:复核工具,应用推荐设置

测试连接拿到工具清单后,逐个确认要给 AI 用的工具。识别出是 AgileShot 时,复核窗口会出现应用推荐设置(第一次复核时已自动按推荐预填,点确认启用才生效):

档 放行方式 包含
看屏幕(34 个) 只读:直接放行,AI 操作总开关关着也能用 截图、列窗口、读界面元素、读窗口文字、OCR、查截图历史等
点击、滚动、输入(28 个) 免审批:AI 操作总开关开着时直接放行 按控件点击、填写、按键、滚动、窗口控制等;输入的文字照样过危险命令扫描
高影响(8 个) 每次都要你批准 启动程序、读剪贴板、选文件、跑录好的宏、录制、删截图

复核 AgileShot 的工具

跟随这台电脑的 AI 档位

上表是工具本身的放行方式,最终还要看这台服务器的 AI 档位:

服务器档位 远程电脑的工具
信任 设成「每次审批」的也直接放行,只有读剪贴板、跑宏、录制、删截图仍每次问你(智码另有几项,见下文);复核窗口会点名这些工具,所以放心点「全选」
审批 / 白名单 按上表每个工具的放行方式
只读 只有设成「只读」的工具可用,其余 AI 看不到
禁用 全部不可用,AI 也看不到这些工具

想让 AI 在这台电脑上少弹审批,把它的 AI 档位设成信任即可。无论哪个档位,参数里带危险命令照样拦截或审批,AI 操作总开关照样生效。

AgileShot 每次升级都要重新复核一次

工具清单(名称、说明、参数)一变,Reeve 会把这个服务整个暂停,等你重新复核,免得程序被换掉之后 AI 照用不误。复核窗口会标出新增和改过的工具,改过的自动取消勾选,看过新旧说明再勾上。这是安全设计,不是出错。

第三步:让 AI 动手

打开标题栏的 AI 操作(限时放行),在 AI 助手里直接说要做什么,例如:

截一张 zws 的全屏截图,告诉我屏幕上开着哪些窗口。然后把记事本里那个未保存的标签关掉,弹出是否保存时选「不保存」。

AgileShot 有七十多个工具,Reeve 会让 AI 按需加载:先搜索、再加载用得上的那几个,不一次塞满上下文。

AI 截图并读出窗口与标签

丢弃未保存内容这类不可恢复的操作,AI 会先把计划讲清楚、等你确认:

AI 列出计划,等你确认

确认后它按控件逐步操作,每一步做完回读核对:

AI 执行完成并回读确认

  • AI 优先按控件操作(读界面元素 → 按元素点击 / 填写),不靠猜坐标
  • 启动程序这类高影响操作会弹审批窗,你点批准才执行(这台服务器是信任档时不弹,见上文「跟随这台电脑的 AI 档位」)
  • 能看图的模型会直接看截图;截图会发给你当前用的模型服务,敏感画面请留意

在 Claude Code 等 MCP 客户端里用

不只内置 AI 助手。凡是连上 Reeve MCP 的客户端——本机的 Claude Code、Codex、Cursor、OpenCode,以及经 Streamable HTTP 连接的 claude.ai 等——都会在工具清单里看到这台电脑的工具,不用另外配置:

项 说明
工具名 x_<服务名>__<原名>,例如 x_agileshotzws__screenshot_fullscreen,说明开头写着是哪台电脑
什么时候有 只有接入了 AgileShot、启用并复核过的电脑才有;Linux 服务器、没接入的 Windows 电脑不会多出这组工具。复核、停用或新接入一台电脑后,客户端的工具清单十几秒内自动更新,不用重连
能看到哪几台 跟着令牌的可见服务器:令牌没勾这台电脑,就看不到、也调不了它的工具
审批与审计 与内置助手同一套:按档放行,高影响操作的审批窗弹在 Reeve 上;审计记下是哪个客户端做的,桌面页时间线也会标出客户端名

例如在 Claude Code 里直接说「截一张 zws 的全屏截图,告诉我开着哪些窗口」。截图以图片返回给客户端,再由客户端发给它用的模型。

远程电脑上的智码 AICoder

Reeve 3.7.1 起,同一套「经 SSH 在服务器上运行」还能接那台电脑上的智码 AICoder:AI 能看那里的项目代码、改文件、启停项目任务、用智码的内置浏览器打开网页验收,也能把活派给那台电脑上的 AI 会话。内置助手和 Claude Code 等 MCP 客户端都能用,工具名形如 x_aicoder__read_project_file。

准备那台电脑:装好智码并开着,保持登录、关掉自动睡眠。智码的 MCP 程序只负责转发,主程序没开就用不了;它不碰鼠标键盘,所以锁屏也能用。和 AgileShot 一样用这台服务器的主账号连接(智码按账号找它开着的主程序)。

添加:外部工具 → 添加 → 快速配置点智码 AICoder,选好电脑后自动找到 aicoder-mcp.exe。保存后测试连接,复核时识别出是智码,第一次复核已按推荐预填:

档 放行方式 包含
查询(42 个) 只读 查项目 / 会话 / 记忆 / 片段 / 用量,读项目文件,只读 git,浏览器读页面、截图,列出可转接的 MCP
操作(43 个) 免审批 浏览器打开 / 点击 / 输入、改项目文件、启停项目任务、编译检查、写记忆和片段
高影响(13 个) 每次都要你批准,信任档也一样 派活给那台电脑上的 AI 会话(开会话、发指令、控制会话、问项目)、启动程序、把本地文件传到网页、读网页登录态(Cookie、本地存储)、切换 AI 账号、在那台电脑上跑命令、转接它配置的其它 MCP

只读 git、跑命令、编译检查、转接这几个工具要那台电脑上的智码是较新版本,旧版不会列出来。

派出去的 AI 会话不受 Reeve 命令黑名单管

智码在那台电脑上开的 AI 会话默认跳过权限确认,它之后执行的命令 Reeve 看不见、也拦不了,Reeve 只能看到你批准时的那段指令。所以这几项在任何档位都每次问你,批准前看清楚要它做什么。

  • 截图:较新版本的智码会把截图直接附给 AI;旧版只返回那台电脑上的文件路径,AI 看不到画面
  • 读大文件:一次返回太长时 Reeve 只保留开头并写明不完整,AI 会缩小范围分段读,不会拿残缺内容整份写回
  • 等项目任务起好这类要等很久的操作,Reeve 按工具声明的等待时间放宽时限(最长 9 分钟)
  • 智码升级后工具说明一变,Reeve 同样会暂停这个服务等你重新复核
  • 工作台「桌面」页只列 AgileShot 这类能截屏的服务,智码不在里面

转接那台电脑上配置的其它 MCP

和 claude.ai 连智码一样,AI 可以经那台电脑上的智码调用它配置的其它 MCP,比如那台电脑上装的 Reeve、Sigil:先 list_local_mcp_tools 看开放了哪些、查工具和参数,再 call_local_mcp 调用。

在那台电脑上开放:智码「设置 → MCP 接入 → 远程接入」里勾选要转接的 MCP;要让 AI 跑命令、看 git,再勾上信任目录。这几项经 SSH 调用时同样生效,不用打开远程接入的开关。没勾的 MCP 调不到,取消勾选保存即生效。

要知道的几点:

  • 转接到的是那台电脑上的程序:那台电脑上的 Reeve 管的是它自己的服务器和凭据,和你这台的不是一份
  • 被转接的 MCP 自己的审批(比如 Sigil 推送、Reeve 的危险命令)弹在那台电脑上,人不在那台电脑前就批不了;智码的危险命令、信任目录外的路径也是在那台电脑上弹窗,45 秒没人处理按拒绝
  • Reeve 这边只看得到一次「转接」调用,所以 call_local_mcp 和 run_command 默认每次问你,审批卡上能看到转给哪个 MCP 的哪个工具、带什么参数。你也可以在复核时把它们单独设成免审批,但这等于把那台电脑上被转接的 MCP 一起放行
  • 转接参数里的命令同样过 Reeve 的危险命令黑名单

工作台「桌面」页

工作台里,Windows 服务器的「运维」组多一个桌面标签:

工作台「桌面」页:画面、AI 动作时间线、立即断开

区域 说明
画面 那台电脑当前的屏幕,点图可放大。AgileShot 3.9.0 起用低清预览,不在那台电脑上留截图,可每 3 / 5 / 10 秒自动刷新,切走标签或离开工作台即停;更早的版本每截一张都会进它的截图历史,所以只能手动刷新
AI 动作时间线 AI 在这台电脑上做过的每一步:时间、工具、AI 写的目的、关键参数、成功 / 失败 / 被拒,经你批准的会标出来。只列 AI 的操作,你看画面不算
立即断开 停用这条外部服务:连接立刻断开,AI 之后的调用全部失败,直到你重新启用

彻底收回鼠键权限

「立即断开」管的是 Reeve 这一侧。要连那台电脑上 AgileShot 的鼠键授权一起收回,在那台电脑上按 Ctrl+Alt+Esc。

锁屏时也能干活(AgileShot 3.9.0 起)

电脑锁屏时 AgileShot 默认拒绝一切操作。要让 AI 锁屏后继续干活,在那台电脑上的 AgileShot「MCP 接入 · 鼠键自动化」里打开锁屏时允许后台操作(远程协同用)——这个开关只能在那台电脑的界面里改,Reeve 和 AI 都改不了。

打开后:

锁屏时 工具
可以用 启动程序、按控件点击 / 填写(click_element_by_id、type_into_element 等)、读窗口与界面元素、单窗口截图、隐藏桌面里的后台操作(background_*)
照样拒绝 真实鼠标键盘类:打字、按键、坐标点击、滚动、拖动等。AI 会收到「改用哪些工具」的提示,不会反复重试
永远不碰 锁屏界面本身、UAC、密码框——不会替你输密码解锁
  • 只放行远程调用(经 SSH 拉起的连接程序);那台电脑本机上的 AI 客户端锁屏时照旧被拒
  • 解锁后 AgileShot 会提示「锁屏期间有远程操作 · 远程执行了 N 个操作」,有人远程看过画面也会单独写一句,点开直达那段审计
  • 锁屏时全屏截图只能截到锁屏画面;用显卡绘制的窗口可能截出空白,AI 会改用读窗口文字核对

审计

AI 经 AgileShot 做的每一步都记在审计日志里,挂在这台服务器下,动作是 ext:<服务名>/<工具名>;截图只记「带了几张图、多大」,不存图片。你在桌面页看画面记为 ext_mcp.desktop_view(自动刷新时一分钟记一条)。

审计日志按服务器筛选

安全边界

层 做什么
AgileShot(那台电脑上) 鼠键授权与能力开关只能在本机设置;拒绝操作密码框 / UAC / 锁屏界面;你正在用鼠标键盘时让路;Ctrl+Alt+Esc 一键收回
Reeve 外部服务的配置只能你在界面里改(AI 没有工具能动它);清单复核 + 指纹核对;参数危险扫描;分档审批;读到的文字先脱敏再给模型;审计

能点鼠标打字,就能绕过命令黑名单

AI 打开终端敲命令,Reeve 的服务器命令黑名单管不到。输入类工具会扫描每次输入的整段文字,但 AI 被诱导一个字一个字地敲时扫不出来。真正的底线是 AgileShot 的敏感窗口拒绝、Ctrl+Alt+Esc 和全程审计——只把这个能力交给你信任的模型,用完点「立即断开」。

常见问题

现象 处理
AI 说「工具清单与上次复核时不一致,已暂停」 AgileShot 升级过。到 AI 助手 → 外部工具里复核一次,改过的工具会自动取消勾选,记得勾回去,否则 AI 用不了
AI 说「Automation is not armed」 那台电脑上 AgileShot 的鼠键授权过期了,改成「始终允许(不限时)」
AI 说「via AI is disabled」 那台电脑上 AgileShot 关了对应能力(截屏 / 鼠键),在「MCP 接入」里打开
AI 说「screen is locked」 那台电脑锁屏了:请人解锁,或按上文打开锁屏开关(3.9.0 起)
锁屏时点击报超时,之后那台电脑的 AgileShot 一阵子没反应 那台电脑上的 AgileShot 早于 3.9.1,升级即可
结果以 UNCONFIRMED 开头 动作已经发出,只是目标程序没及时回应,多半已经生效。让 AI 先读一下界面确认,别直接重发,免得重复点击、重复输入
桌面页只能手动刷新 那台电脑上的 AgileShot 早于 3.9.0,升级后即可自动刷新
AI 说那台电脑上的智码没开 在那台电脑上打开智码。锁屏时可以让 AI 用同一台电脑上 AgileShot 的「启动程序」打开它;经 SSH 启动的智码跑在看不见的会话里,用不了
智码的高影响操作在信任档也弹审批 设计如此:派活给 AI 会话、启动程序、外传文件、读登录态、切账号这几项任何档位都每次问你。确实要免审批,可在复核时给单个工具明确设成「免审批」

相关章节