電腦操作

電腦操作（Computer Use）讓 Agent 像使用終端機和瀏覽器一樣使用執行階段所在這臺機器的桌面：開啟應用、讀取視窗、點選、輸入、按鍵和滾動。它是一個工具面板，不是遠端桌面產品，也不是第二套會話系統。 這也是風險最高的工具：Agent 操作的是你真實的桌面和真實賬號，而你可能正在同時使用它。Vibex 用安裝門禁、逐次核准、硬拒絕、應急停止和脫敏審計來約束它。

​

開啟電腦操作

1. 開啟 設定 → 電腦操作。
2. 點選 安裝 安裝桌面驅動。驅動執行在獨立的 helper 程序裡，持有作業系統授予的螢幕和輔助功能權限。
3. 在作業系統裡授予所需權限。macOS 通常需要 輔助功能 和 螢幕錄製；部分系統需要重啟後才生效。
4. 開啟 電腦操作 總開關。

總開關以驅動已安裝為前提。驅動缺失時開關不可用，並會說明缺的是什麼；已開啟的會話會拿到桌面工具，關閉後新會話不再拿到。

​

核准與硬拒絕

設定 → 電腦操作 → 需要批准的操作 提供三檔策略： 無論策略如何，以下操作始終逐次核准或直接拒絕：

• 密碼管理器、安全輸入框和憑據類控制元件：硬拒絕，不顯示批准卡。
• Vibex 自己的視窗和程序：預設硬拒絕；只有在你明確允許“操作 Vibex 自身視窗”時才可操作，供自動化測試使用。
• 破壞性控制元件、刪除檔案、把資料發到外部、讀取剪貼簿、前臺接管、退出應用：逐次核准，不能記住。
• 啟動應用、寫入剪貼簿：可以按會話記住，但只對可逆、非破壞性操作生效。

“本會話允許”只適用於可逆操作，並且按應用授權，而不是按 Agent 授權。最嚴格的類別優先：一個既破壞性又需要前臺的操作仍然只批准一次。 核准卡會顯示目標應用、操作類別和原因；破壞性或前臺操作還會附帶目標視窗的截圖，截圖只用於核准，不會作為工具結果返回給模型。

​

面板與應急停止

在 設定 → 電腦操作 → 面板 開啟電腦操作面板，可以選擇：

• 視窗：獨立視窗，適合長時間觀察。
• 浮動：小型浮動條，在平台允許時始終位於其他視窗之上。

面板顯示 Agent 正在看的畫面、當前動作和脫敏操作記錄。面板上的應急停止會按順序：

1. 拒絕新的桌面呼叫；
2. 丟棄還沒開始的輸入；
3. 釋放所有被按住的鍵和滑鼠按鈕；
4. 停止 helper 接受輸入；
5. 記錄停止和已經執行的操作；
6. 要求你手動重新開啟，Agent 不能自行恢復。

第 3 步最關鍵：一個卡住的修飾鍵會讓你整臺機器無法使用。 客戶端斷線時，新操作會被拒絕，待處理的核准會作廢；更長的斷線會清空佇列並釋放按鍵。恢復需要你確認，和應急停止走同一條路徑。

​

平台支援

Linux 上 helper 不能以 root 身份在使用者會話裡執行；macOS 的無頭執行階段也不會啟動 helper，因為系統權限屬於啟動鏈裡的應用。

​

安全邊界

• 應用身份由執行階段解析，不信任模型傳來的應用名字；歧義名稱會報錯，而不是猜一個。
• 元素引用短期有效：每次操作後都要重新觀察；引用過期或視窗樹變化會被拒絕。
• 操作結果分級：verified、unverified 和 failed。沒有驗證後設資料時按未驗證處理，不能報告成功。
• 審計記錄脫敏：不儲存螢幕畫素、輸入文本、剪貼簿內容或憑據。
• 緊急停止優先於一切：停止後只有人能重新開啟。

​

遇到問題