电脑操作

电脑操作（Computer Use）让 Agent 像使用终端和浏览器一样使用运行时所在这台机器的桌面：打开应用、读取窗口、点击、输入、按键和滚动。它是一个工具面板，不是远程桌面产品，也不是第二套会话系统。 这也是风险最高的工具：Agent 操作的是你真实的桌面和真实账号，而你可能正在同时使用它。Vibex 用安装门禁、逐次审批、硬拒绝、应急停止和脱敏审计来约束它。

​

开启电脑操作

1. 打开 设置 → 电脑操作。
2. 点击 安装 安装桌面驱动。驱动运行在独立的 helper 进程里，持有操作系统授予的屏幕和辅助功能权限。
3. 在操作系统里授予所需权限。macOS 通常需要 辅助功能 和 屏幕录制；部分系统需要重启后才生效。
4. 打开 电脑操作 总开关。

总开关以驱动已安装为前提。驱动缺失时开关不可用，并会说明缺的是什么；已开启的会话会拿到桌面工具，关闭后新会话不再拿到。

​

审批与硬拒绝

设置 → 电脑操作 → 需要批准的操作 提供三档策略： 无论策略如何，以下操作始终逐次审批或直接拒绝：

• 密码管理器、安全输入框和凭据类控件：硬拒绝，不显示批准卡。
• Vibex 自己的窗口和进程：默认硬拒绝；只有在你明确允许“操作 Vibex 自身窗口”时才可操作，供自动化测试使用。
• 破坏性控件、删除文件、把数据发到外部、读取剪贴板、前台接管、退出应用：逐次审批，不能记住。
• 启动应用、写入剪贴板：可以按会话记住，但只对可逆、非破坏性操作生效。

“本会话允许”只适用于可逆操作，并且按应用授权，而不是按 Agent 授权。最严格的类别优先：一个既破坏性又需要前台的操作仍然只批准一次。 审批卡会显示目标应用、操作类别和原因；破坏性或前台操作还会附带目标窗口的截图，截图只用于审批，不会作为工具结果返回给模型。

​

面板与应急停止

在 设置 → 电脑操作 → 面板 打开电脑操作面板，可以选择：

• 窗口：独立窗口，适合长时间观察。
• 浮动：小型浮动条，在平台允许时始终位于其他窗口之上。

面板显示 Agent 正在看的画面、当前动作和脱敏操作记录。面板上的应急停止会按顺序：

1. 拒绝新的桌面调用；
2. 丢弃还没开始的输入；
3. 释放所有被按住的键和鼠标按钮；
4. 停止 helper 接受输入；
5. 记录停止和已经执行的操作；
6. 要求你手动重新开启，Agent 不能自行恢复。

第 3 步最关键：一个卡住的修饰键会让你整台机器无法使用。 客户端断线时，新操作会被拒绝，待处理的审批会作废；更长的断线会清空队列并释放按键。恢复需要你确认，和应急停止走同一条路径。

​

平台支持

Linux 上 helper 不能以 root 身份在用户会话里运行；macOS 的无头运行时也不会启动 helper，因为系统权限属于启动链里的应用。

​

安全边界

• 应用身份由运行时解析，不信任模型传来的应用名字；歧义名称会报错，而不是猜一个。
• 元素引用短期有效：每次操作后都要重新观察；引用过期或窗口树变化会被拒绝。
• 操作结果分级：verified、unverified 和 failed。没有验证元数据时按未验证处理，不能报告成功。
• 审计记录脱敏：不保存屏幕像素、输入文本、剪贴板内容或凭据。
• 紧急停止优先于一切：停止后只有人能重新开启。

​

遇到问题