> ## Documentation Index
> Fetch the complete documentation index at: https://vibex.peatboy.com/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# 电脑操作

> 在你批准之后，让 Agent 读取本机屏幕并操作桌面应用。

电脑操作（Computer Use）让 Agent 像使用终端和浏览器一样使用**运行时所在这台机器的桌面**：打开应用、读取窗口、点击、输入、按键和滚动。它是一个**工具面板**，不是远程桌面产品，也不是第二套会话系统。

这也是风险最高的工具：Agent 操作的是你真实的桌面和真实账号，而你可能正在同时使用它。Vibex 用安装门禁、逐次审批、硬拒绝、应急停止和脱敏审计来约束它。

> [!WARNING]
>
> 电脑操作默认关闭。开启后，Agent 的误点击可能发送消息、完成购买或删除文件。只在你能看着它、并且随时准备停止它时开启。

## 开启电脑操作

1. 打开 **设置 → 电脑操作**。
2. 点击 **安装** 安装桌面驱动。驱动运行在独立的 helper 进程里，持有操作系统授予的屏幕和辅助功能权限。
3. 在操作系统里授予所需权限。macOS 通常需要 **辅助功能** 和 **屏幕录制**；部分系统需要重启后才生效。
4. 打开 **电脑操作** 总开关。

总开关以驱动已安装为前提。驱动缺失时开关不可用，并会说明缺的是什么；已开启的会话会拿到桌面工具，关闭后新会话不再拿到。

> [!NOTE]
>
> 只有本机运行时可以管理驱动。连接到远程运行时时，电脑操作会明确显示为不可用，而不是假装可用。

## 审批与硬拒绝

**设置 → 电脑操作 → 需要批准的操作** 提供三档策略：

| 策略 | 行为 |
| - | - |
| **询问** | 风险模型标记的每个操作都会弹出确认卡。 |
| **允许** | 跳过普通操作的确认卡，但不会跳过下面的硬拒绝和逐次审批。 |
| **拒绝** | 直接拒绝风险操作，并告诉 Agent 原因。 |

无论策略如何，以下操作**始终**逐次审批或直接拒绝：

* 密码管理器、安全输入框和凭据类控件：**硬拒绝**，不显示批准卡。
* Vibex 自己的窗口和进程：默认**硬拒绝**；只有在你明确允许“操作 Vibex 自身窗口”时才可操作，供自动化测试使用。
* 破坏性控件、删除文件、把数据发到外部、读取剪贴板、前台接管、退出应用：逐次审批，不能记住。
* 启动应用、写入剪贴板：可以按会话记住，但只对可逆、非破坏性操作生效。

“本会话允许”只适用于可逆操作，并且按**应用**授权，而不是按 Agent 授权。最严格的类别优先：一个既破坏性又需要前台的操作仍然只批准一次。

审批卡会显示目标应用、操作类别和原因；破坏性或前台操作还会附带目标窗口的截图，截图只用于审批，不会作为工具结果返回给模型。

## 面板与应急停止

在 **设置 → 电脑操作 → 面板** 打开电脑操作面板，可以选择：

* **窗口**：独立窗口，适合长时间观察。
* **浮动**：小型浮动条，在平台允许时始终位于其他窗口之上。

面板显示 Agent 正在看的画面、当前动作和脱敏操作记录。面板上的**应急停止**会按顺序：

1. 拒绝新的桌面调用；
2. 丢弃还没开始的输入；
3. 释放所有被按住的键和鼠标按钮；
4. 停止 helper 接受输入；
5. 记录停止和已经执行的操作；
6. 要求你手动重新开启，Agent 不能自行恢复。

第 3 步最关键：一个卡住的修饰键会让你整台机器无法使用。

客户端断线时，新操作会被拒绝，待处理的审批会作废；更长的断线会清空队列并释放按键。恢复需要你确认，和应急停止走同一条路径。

## 平台支持

| 平台 | 状态 |
| - | - |
| macOS | 支持；需要辅助功能和屏幕录制权限。 |
| Windows | 支持；驱动以当前用户身份运行。 |
| Linux X11 | 支持；可以后台输入和截取窗口。 |
| Linux Wayland | 实验性；默认只看到 X11 窗口。设置 `CUA_DRIVER_RS_ENABLE_WAYLAND=1` 后按合成器能力分级，部分窗口仍无法后台操作。 |
| 无头运行时 | 不支持；没有可操作的桌面会话。 |
| 远程运行时 | 不支持实时桌面跳转；面板会说明原因。 |

Linux 上 helper 不能以 root 身份在用户会话里运行；macOS 的无头运行时也不会启动 helper，因为系统权限属于启动链里的应用。

## 安全边界

* **应用身份由运行时解析**，不信任模型传来的应用名字；歧义名称会报错，而不是猜一个。
* **元素引用短期有效**：每次操作后都要重新观察；引用过期或窗口树变化会被拒绝。
* **操作结果分级**：`verified`、`unverified` 和 `failed`。没有验证元数据时按未验证处理，不能报告成功。
* **审计记录脱敏**：不保存屏幕像素、输入文本、剪贴板内容或凭据。
* **紧急停止优先于一切**：停止后只有人能重新开启。

## 遇到问题

| 现象 | 处理 |
| - | - |
| 开关不可用 | 先安装驱动；安装后再检查系统权限。 |
| 提示缺少辅助功能或屏幕录制 | 到系统设置里授权，必要时重启应用或系统。 |
| Agent 看不到窗口 | 在面板里确认目标应用已打开；Wayland 下检查是否开启了实验路径。 |
| 操作显示“未验证” | 这是正常结果；让 Agent 重新观察，不要假定点击成功。 |
| 误操作后停不下来 | 按面板上的应急停止；它会释放按键并阻断后续输入。 |
| 远程运行时没有面板 | 电脑操作只在本机运行时可用；远程会话请使用终端或浏览器面板。 |


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.