> ## Documentation Index
> Fetch the complete documentation index at: https://vibex.peatboy.com/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# 電腦操作

> 在你批准之後，讓 Agent 讀取本機螢幕並操作桌面應用。

電腦操作（Computer Use）讓 Agent 像使用終端機和瀏覽器一樣使用**執行階段所在這臺機器的桌面**：開啟應用、讀取視窗、點選、輸入、按鍵和滾動。它是一個**工具面板**，不是遠端桌面產品，也不是第二套會話系統。

這也是風險最高的工具：Agent 操作的是你真實的桌面和真實賬號，而你可能正在同時使用它。Vibex 用安裝門禁、逐次核准、硬拒絕、應急停止和脫敏審計來約束它。

> [!WARNING]
>
> 電腦操作預設關閉。開啟後，Agent 的誤點選可能傳送訊息、完成購買或刪除檔案。只在你能看著它、並且隨時準備停止它時開啟。

## 開啟電腦操作

1. 開啟 **設定 → 電腦操作**。
2. 點選 **安裝** 安裝桌面驅動。驅動執行在獨立的 helper 程序裡，持有作業系統授予的螢幕和輔助功能權限。
3. 在作業系統裡授予所需權限。macOS 通常需要 **輔助功能** 和 **螢幕錄製**；部分系統需要重啟後才生效。
4. 開啟 **電腦操作** 總開關。

總開關以驅動已安裝為前提。驅動缺失時開關不可用，並會說明缺的是什麼；已開啟的會話會拿到桌面工具，關閉後新會話不再拿到。

> [!NOTE]
>
> 只有本機執行階段可以管理驅動。連線到遠端執行階段時，電腦操作會明確顯示為不可用，而不是假裝可用。

## 核准與硬拒絕

**設定 → 電腦操作 → 需要批准的操作** 提供三檔策略：

| 策略 | 行為 |
| - | - |
| **詢問** | 風險模型標記的每個操作都會彈出確認卡。 |
| **允許** | 跳過普通操作的確認卡，但不會跳過下面的硬拒絕和逐次核准。 |
| **拒絕** | 直接拒絕風險操作，並告訴 Agent 原因。 |

無論策略如何，以下操作**始終**逐次核准或直接拒絕：

* 密碼管理器、安全輸入框和憑據類控制元件：**硬拒絕**，不顯示批准卡。
* Vibex 自己的視窗和程序：預設**硬拒絕**；只有在你明確允許“操作 Vibex 自身視窗”時才可操作，供自動化測試使用。
* 破壞性控制元件、刪除檔案、把資料發到外部、讀取剪貼簿、前臺接管、退出應用：逐次核准，不能記住。
* 啟動應用、寫入剪貼簿：可以按會話記住，但只對可逆、非破壞性操作生效。

“本會話允許”只適用於可逆操作，並且按**應用**授權，而不是按 Agent 授權。最嚴格的類別優先：一個既破壞性又需要前臺的操作仍然只批准一次。

核准卡會顯示目標應用、操作類別和原因；破壞性或前臺操作還會附帶目標視窗的截圖，截圖只用於核准，不會作為工具結果返回給模型。

## 面板與應急停止

在 **設定 → 電腦操作 → 面板** 開啟電腦操作面板，可以選擇：

* **視窗**：獨立視窗，適合長時間觀察。
* **浮動**：小型浮動條，在平台允許時始終位於其他視窗之上。

面板顯示 Agent 正在看的畫面、當前動作和脫敏操作記錄。面板上的**應急停止**會按順序：

1. 拒絕新的桌面呼叫；
2. 丟棄還沒開始的輸入；
3. 釋放所有被按住的鍵和滑鼠按鈕；
4. 停止 helper 接受輸入；
5. 記錄停止和已經執行的操作；
6. 要求你手動重新開啟，Agent 不能自行恢復。

第 3 步最關鍵：一個卡住的修飾鍵會讓你整臺機器無法使用。

客戶端斷線時，新操作會被拒絕，待處理的核准會作廢；更長的斷線會清空佇列並釋放按鍵。恢復需要你確認，和應急停止走同一條路徑。

## 平台支援

| 平台 | 狀態 |
| - | - |
| macOS | 支援；需要輔助功能和螢幕錄製權限。 |
| Windows | 支援；驅動以當前使用者身份執行。 |
| Linux X11 | 支援；可以後臺輸入和擷取視窗。 |
| Linux Wayland | 實驗性；預設只看到 X11 視窗。設定 `CUA_DRIVER_RS_ENABLE_WAYLAND=1` 後按合成器能力分級，部分視窗仍無法後臺操作。 |
| 無頭執行階段 | 不支援；沒有可操作的桌面會話。 |
| 遠端執行階段 | 不支援即時桌面跳轉；面板會說明原因。 |

Linux 上 helper 不能以 root 身份在使用者會話裡執行；macOS 的無頭執行階段也不會啟動 helper，因為系統權限屬於啟動鏈裡的應用。

## 安全邊界

* **應用身份由執行階段解析**，不信任模型傳來的應用名字；歧義名稱會報錯，而不是猜一個。
* **元素引用短期有效**：每次操作後都要重新觀察；引用過期或視窗樹變化會被拒絕。
* **操作結果分級**：`verified`、`unverified` 和 `failed`。沒有驗證後設資料時按未驗證處理，不能報告成功。
* **審計記錄脫敏**：不儲存螢幕畫素、輸入文本、剪貼簿內容或憑據。
* **緊急停止優先於一切**：停止後只有人能重新開啟。

## 遇到問題

| 現象 | 處理 |
| - | - |
| 開關不可用 | 先安裝驅動；安裝後再檢查系統權限。 |
| 提示缺少輔助功能或螢幕錄製 | 到系統設定裡授權，必要時重啟應用或系統。 |
| Agent 看不到視窗 | 在面板裡確認目標應用已開啟；Wayland 下檢查是否開啟了實驗路徑。 |
| 操作顯示“未驗證” | 這是正常結果；讓 Agent 重新觀察，不要假定點選成功。 |
| 誤操作後停不下來 | 按面板上的應急停止；它會釋放按鍵並阻斷後續輸入。 |
| 遠端執行階段沒有面板 | 電腦操作只在本機執行階段可用；遠端會話請使用終端機或瀏覽器面板。 |


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.