操作桌面应用
你可以让 Ghast 读取窗口、填写桌面表单,或在本机应用中完成操作。在会话中说清应用和预期结果即可,不需要编写自动化脚本。
本指南介绍 macOS 中 设置 → 计算机控制 提供的配置流程。当前 Windows 和 Linux 的设置导航不显示此页,不能按下面的步骤和截图配置这两个平台。
开始前
- 配置并选择支持工具调用的模型。如果还没有成功发送第一条消息,先完成模型设置。
- 打开需要操作的应用;存在多个窗口时,提供准确的窗口或文档标题。
- 关闭或隐藏无关的机密内容。工具返回到会话中的窗口文字和截图可能发送给所选模型的 Provider;桌面操作发生在本机,不代表模型请求也只在本机处理。
- 第一次测试使用空白文档或计算器,不涉及付款、账户变更或真实消息发送。
网页任务请使用浏览器。桌面应用和 Ghast 浏览器可能登录的是不同账户。
配置桌面访问

1. 打开权限页面
进入 设置 → 计算机控制,查看 系统权限。
| 状态 | 下一步 |
|---|---|
| 检查中 | 等待状态检查结束。 |
| 需要设置 | 检查下方两项权限,按缺失权限的步骤处理。 |
| 不可达 | 阅读页面错误并点击 刷新;仍未恢复时,收集下文列出的诊断信息。 |
| 就绪 | 本机运行组件和所需 macOS 权限已通过检查。继续用一个小任务测试;此状态不检查模型,也不保证能控制所有应用。 |
2. 授予缺失的权限
辅助功能 用于读取窗口结构和操作控件;屏幕录制 用于截取正在控制的应用画面。
- 某项权限没有显示 已授权 时,点击该行的 打开系统设置。
- 在 macOS 中为你正在使用的 Ghast 应用启用访问权限。这一步由你亲自完成。
- 缺少权限时,也可以点击 Ghast 页面中的 触发系统授权。
- 如果 macOS 要求重启应用,按提示操作。回到 Ghast 后点击 刷新。
- 确认两项权限均为 已授权,桌面控制 为 就绪。
如果两项权限已经授权,页面不会显示申请权限的按钮。不需要先撤销权限来重复上述步骤。
3. 读取一个无敏感内容的窗口
先自行打开计算器,再回到 Chat 或编码会话,选择已配置的模型并发送:
使用计算机控制,读取计算器当前显示的值。不要点击、输入、切换应用或修改任何内容。告诉我显示的数值。
核对回复是否与真实计算器窗口一致。仅根据提示回答不算桌面测试成功;会话中应能看到 Ghast 使用桌面工具观察应用。
然后新建一个空白的“文本编辑”文档,测试简单输入:
使用计算机控制,在新建的空白文本编辑文档中输入一行“Ghast 桌面测试”。不要保存、关闭或替换任何已有文档。重新读取窗口,确认输入的完整文字。
先亲自检查文本编辑,再决定保存或丢弃测试文档。如果工具不可用,参阅排查;反复授予 macOS 权限并不能启用会话中缺失的工具。
如何描述应用任务
写明应用、窗口、允许的修改和停下的位置。例如:
在文本编辑的“会议记录”窗口末尾追加以下三行:
检查发布清单。
确认各项负责人。
安排后续跟进。
不要保存或关闭文档。完成后先向我展示最终段落,不要继续操作。
如果有多个相似窗口,先明确目标再编辑。操作期间如果你修改了窗口,应让 Ghast 重新观察后再继续。
部分操作不需要把目标窗口切到前台,但并非所有应用都支持。如果 Ghast 需要前台控制,先完成你自己的操作并确认目标;避免双方同时在同一窗口输入或点击。
涉及发送、发布、删除、上传或付款时,要求 Ghast 在 最终操作之前 停下。亲自检查账户、收件人、文件、金额和目的地。任务中的文字限制不能替代权限控制。
中途接管电脑
在 macOS 菜单栏打开 Ghast 图标,选择 接管电脑。状态会变为 Computer Use · 用户已接管。这会阻止新发起的 Ghast 内置桌面工具调用(包括 Team 调用),以及经过应用批准检查的修改操作。
其他控制集成仍可能读取窗口、截图或剪贴板内容。接管不是完整的隐私开关。如果需要停止 Ghast 的全部桌面访问,应停止正在运行的任务并退出 Ghast;再次使用前,在 macOS 中管理其系统权限。
接管不会撤回已经执行的点击,也不会取消外部应用已经开始的提交。重试前先检查目标应用。
准备继续时,在同一菜单选择 交还给 agent。这会重新允许桌面操作,但不会自动重发失败的动作或重启已停止的会话。回到会话,告诉 Ghast 是检查结果、继续还是停止。
如果也想结束当前回复,使用会话中的停止按钮。接管桌面并不等于暂停所有其他工具,例如文件操作或网络请求。
启用前先了解应用批准的范围
按应用严格批准 和 已批准应用 并不覆盖所有桌面操作。Ghast 内置桌面工具目前不会读取这个开关或列表。其他控制集成使用的应用级检查,只保护能够识别目标应用的修改操作;读取窗口、截图和无法识别目标应用的操作不受此检查限制。
不要把这个开关或已撤销条目当作禁止 Ghast 读取、控制某个应用的完整屏障。需要打断内置桌面操作时使用 接管电脑,并注意上文的覆盖限制。系统级访问权限在 macOS 中管理。
保存行为设置
修改 默认行为 中的三个开关会产生 未保存的修改。调整严格批准、日志或预览偏好后,点击设置页底部的 保存,等待未保存提示消失;如果保存失败,开关的新状态不代表偏好已经保存。
画中画在切换时还会立即请求显示或隐藏,不等待保存。如果只是试用,先把开关恢复原位,再关闭并放弃未保存设置。预先批准和撤销应用属于独立操作,成功确认后即生效,不需要此处的保存按钮。
开启严格批准
该开关默认关闭。在 默认行为 中开启 按应用严格批准 并点击 保存 后,受应用级检查保护的操作使用新应用前,需要你明确批准。
关闭严格批准时,这些操作可以自动把新应用加入已批准列表。开启开关不会清除已有批准,也不会要求已有应用重新申请。
处理批准请求
出现 允许 Computer Use? 时,核对应用名称和请求动作。
| 选项 | 对受应用批准检查保护的操作有何影响 |
|---|---|
| 本次允许 | 允许一条需要批准的请求,其中可能包含一连串点击或按键。同一任务中的后续请求仍可能再次询问。它既不是“只能点击一次”,也不等于批准整个任务。 |
| 始终允许 | 记住此应用,后续操作沿用批准,直到你撤销。 |
| 拒绝 | 拒绝当前请求,不会为该应用建立永久禁用规则。 |
Ghast 持续运行期间,无人处理的请求会在 30 分钟后过期。退出并重新打开 Ghast 后,先前的待处理请求可能仍然显示;应把它当作旧请求拒绝,需要时重新发起任务。批准旧请求不会重启旧任务。包含多个动作的请求在批准框中可能只描述为“控制应用”,选择本次允许前应核对任务计划修改的内容。
预先批准应用
- 在本页找到 已批准应用。
- 点击 预先批准应用…。
- 在 macOS 选择器中选择已安装的应用,并在选择器中打开。应选择应用本身,而不是文档或安装包。
- 核对成功提示和列表;必要时点击列表旁的 刷新。
列表显示应用名称或标识、使用次数、最近使用时间。应用标识有助于区分名称相似的应用。这里的次数只反映经过应用批准检查的操作,不是全部桌面活动的完整记录。
预先批准不等于同意应用内的所有操作。不要为了绕过拒绝而批准密码管理器或系统设置;敏感的安全步骤应由你亲自完成。
撤销与恢复批准
在目标应用旁点击 撤销,在 撤销批准? 中核对应用身份,再确认 撤销。选择 取消 则保持原批准不变。
对于受应用批准检查保护的操作,已撤销应用会持续被拒绝,直到你重新预先批准。关闭严格批准 不会 恢复它,也不保证下次会重新弹出申请。需要恢复时,再次使用 预先批准应用…。上述批准覆盖范围的限制仍然适用。
显示画中画预览
在 默认行为 中打开 画中画预览,Ghast 会立即请求显示悬浮、可穿透点击的预览窗口;点击 保存 会记录开关偏好。保存不会让预览在重启 Ghast 后自动打开。
当前限制: Chat 和编码中的内置桌面任务不会向此预览提供画面,因此不能用它实时观看这些任务。预览可能保持空白,或显示其他控制集成先前提供的旧图;它不是连续实时录屏。
预览窗口会置顶,并显示在不同桌面空间和全屏应用上方。它用于观看,不用于交互:点击会落到其后的窗口。需要介入时,使用目标应用或先接管电脑。
出现 预览更新失败 时,开关处于开启状态不代表预览已经打开。阅读错误,解决问题后再重试开关。关闭开关可隐藏预览,再点击 保存 保留关闭状态。确认保存、提交是否成功时,仍应检查真实目标应用。
记录本机操作日志
需要排查时,打开 记录操作日志 并点击 保存。日志和画中画默认均关闭,与严格批准相互独立。
日志保存控制集成上报的操作,例如工具、目标应用、参数、耗时和错误。内置桌面工具不会自动写入此日志。 因此,空日志不能证明没有发生桌面操作;存在记录也不能证明外部应用已经保存或提交成功。
当前设置页没有操作日志查看器。向支持人员分享诊断记录前,先检查并删除敏感文字和应用信息。不再需要时关闭记录并保存;这只停止新增记录,不代表清除已有记录。
排查
页面始终无法显示“就绪”
点击 系统权限 旁的 刷新,检查两项权限和错误提示。在页面底部展开 诊断信息,查看 CUA Driver 版本、平台及 Embedded/Daemon 运行方式。
请求帮助时,提供 Ghast 版本、macOS 版本、页面状态、权限状态、诊断值和完整错误。个人路径或窗口内容应先脱敏。不要授予无关权限,也不要用开发构建命令修复已安装的客户端。
Ghast 没有操作桌面,或提示工具不可用
明确要求:“使用计算机控制观察[应用和窗口]。”检查所选模型、当前会话可用工具,以及是否存在已禁用或不可用的集成。参阅 Tools 和 Plugins。就绪 只检查本机准备情况,不检查当前模型的工具访问。
能看到窗口,但读取、点击或输入失败
截图异常时检查 屏幕录制;读取控件或交互异常时检查 辅助功能。确认准确的应用和窗口,再让 Ghast 观察当前界面。即使两项权限均已授权,失效窗口、变化的对话框或应用自身限制仍可能造成失败。
如果工具提示用户已接管,只有准备恢复桌面操作时才选择 交还给 agent。
批准一直等待、被拒绝或已撤销
回到 Ghast 处理可见请求。本次允许 只覆盖一条请求,但其中可能包含多个动作。已撤销的应用应通过 预先批准应用… 恢复,而不是关闭严格批准。如果某个动作因安全原因被拒绝,亲自完成敏感步骤,不要尝试绕过拒绝。
点击或提交后任务超时
先检查外部应用:文档是否已保存、消息是否已发出、表单是否已提交。让 Ghast 先读取结果再考虑重试;超时或缺少确认不代表操作没有发生。