跳到主要内容

操作桌面应用

你可以让 Ghast 读取窗口、填写桌面表单,或在本机应用中完成操作。在会话中说清应用和预期结果即可,不需要编写自动化脚本。

本指南介绍 macOS 中 设置 → 计算机控制 提供的配置流程。当前 Windows 和 Linux 的设置导航不显示此页,不能按下面的步骤和截图配置这两个平台。

开始前​

  • 配置并选择支持工具调用的模型。如果还没有成功发送第一条消息,先完成模型设置。
  • 打开需要操作的应用;存在多个窗口时,提供准确的窗口或文档标题。
  • 关闭或隐藏无关的机密内容。工具返回到会话中的窗口文字和截图可能发送给所选模型的 Provider;桌面操作发生在本机,不代表模型请求也只在本机处理。
  • 第一次测试使用空白文档或计算器,不涉及付款、账户变更或真实消息发送。

网页任务请使用浏览器。桌面应用和 Ghast 浏览器可能登录的是不同账户。

配置桌面访问​

真实 Ghast 计算机控制设置:桌面控制就绪,两项 macOS 权限已授权,三个可选行为开关关闭
真实 macOS 客户端。先检查系统权限;下方三个开关是独立设置,不是显示“就绪”的前提。

1. 打开权限页面​

进入 设置 → 计算机控制,查看 系统权限。

状态下一步
检查中等待状态检查结束。
需要设置检查下方两项权限,按缺失权限的步骤处理。
不可达阅读页面错误并点击 刷新;仍未恢复时,收集下文列出的诊断信息。
就绪本机运行组件和所需 macOS 权限已通过检查。继续用一个小任务测试;此状态不检查模型,也不保证能控制所有应用。

2. 授予缺失的权限​

辅助功能 用于读取窗口结构和操作控件;屏幕录制 用于截取正在控制的应用画面。

  1. 某项权限没有显示 已授权 时,点击该行的 打开系统设置。
  2. 在 macOS 中为你正在使用的 Ghast 应用启用访问权限。这一步由你亲自完成。
  3. 缺少权限时,也可以点击 Ghast 页面中的 触发系统授权。
  4. 如果 macOS 要求重启应用,按提示操作。回到 Ghast 后点击 刷新。
  5. 确认两项权限均为 已授权,桌面控制 为 就绪。

如果两项权限已经授权,页面不会显示申请权限的按钮。不需要先撤销权限来重复上述步骤。

3. 读取一个无敏感内容的窗口​

先自行打开计算器,再回到 Chat 或编码会话,选择已配置的模型并发送:

使用计算机控制,读取计算器当前显示的值。不要点击、输入、切换应用或修改任何内容。告诉我显示的数值。

核对回复是否与真实计算器窗口一致。仅根据提示回答不算桌面测试成功;会话中应能看到 Ghast 使用桌面工具观察应用。

然后新建一个空白的“文本编辑”文档,测试简单输入:

使用计算机控制,在新建的空白文本编辑文档中输入一行“Ghast 桌面测试”。不要保存、关闭或替换任何已有文档。重新读取窗口,确认输入的完整文字。

先亲自检查文本编辑,再决定保存或丢弃测试文档。如果工具不可用,参阅排查;反复授予 macOS 权限并不能启用会话中缺失的工具。

如何描述应用任务​

写明应用、窗口、允许的修改和停下的位置。例如:

在文本编辑的“会议记录”窗口末尾追加以下三行:
检查发布清单。
确认各项负责人。
安排后续跟进。
不要保存或关闭文档。完成后先向我展示最终段落,不要继续操作。

如果有多个相似窗口,先明确目标再编辑。操作期间如果你修改了窗口,应让 Ghast 重新观察后再继续。

部分操作不需要把目标窗口切到前台,但并非所有应用都支持。如果 Ghast 需要前台控制,先完成你自己的操作并确认目标;避免双方同时在同一窗口输入或点击。

涉及发送、发布、删除、上传或付款时,要求 Ghast 在 最终操作之前 停下。亲自检查账户、收件人、文件、金额和目的地。任务中的文字限制不能替代权限控制。

中途接管电脑​

在 macOS 菜单栏打开 Ghast 图标,选择 接管电脑。状态会变为 Computer Use · 用户已接管。这会阻止新发起的 Ghast 内置桌面工具调用(包括 Team 调用),以及经过应用批准检查的修改操作。

其他控制集成仍可能读取窗口、截图或剪贴板内容。接管不是完整的隐私开关。如果需要停止 Ghast 的全部桌面访问,应停止正在运行的任务并退出 Ghast;再次使用前,在 macOS 中管理其系统权限。

接管不会撤回已经执行的点击,也不会取消外部应用已经开始的提交。重试前先检查目标应用。

准备继续时,在同一菜单选择 交还给 agent。这会重新允许桌面操作,但不会自动重发失败的动作或重启已停止的会话。回到会话,告诉 Ghast 是检查结果、继续还是停止。

如果也想结束当前回复,使用会话中的停止按钮。接管桌面并不等于暂停所有其他工具,例如文件操作或网络请求。

启用前先了解应用批准的范围​

当前批准范围

按应用严格批准 和 已批准应用 并不覆盖所有桌面操作。Ghast 内置桌面工具目前不会读取这个开关或列表。其他控制集成使用的应用级检查,只保护能够识别目标应用的修改操作;读取窗口、截图和无法识别目标应用的操作不受此检查限制。

不要把这个开关或已撤销条目当作禁止 Ghast 读取、控制某个应用的完整屏障。需要打断内置桌面操作时使用 接管电脑,并注意上文的覆盖限制。系统级访问权限在 macOS 中管理。

保存行为设置​

修改 默认行为 中的三个开关会产生 未保存的修改。调整严格批准、日志或预览偏好后,点击设置页底部的 保存,等待未保存提示消失;如果保存失败,开关的新状态不代表偏好已经保存。

画中画在切换时还会立即请求显示或隐藏,不等待保存。如果只是试用,先把开关恢复原位,再关闭并放弃未保存设置。预先批准和撤销应用属于独立操作,成功确认后即生效,不需要此处的保存按钮。

开启严格批准​

该开关默认关闭。在 默认行为 中开启 按应用严格批准 并点击 保存 后,受应用级检查保护的操作使用新应用前,需要你明确批准。

关闭严格批准时,这些操作可以自动把新应用加入已批准列表。开启开关不会清除已有批准,也不会要求已有应用重新申请。

处理批准请求​

出现 允许 Computer Use? 时,核对应用名称和请求动作。

选项对受应用批准检查保护的操作有何影响
本次允许允许一条需要批准的请求,其中可能包含一连串点击或按键。同一任务中的后续请求仍可能再次询问。它既不是“只能点击一次”,也不等于批准整个任务。
始终允许记住此应用,后续操作沿用批准,直到你撤销。
拒绝拒绝当前请求,不会为该应用建立永久禁用规则。

Ghast 持续运行期间,无人处理的请求会在 30 分钟后过期。退出并重新打开 Ghast 后,先前的待处理请求可能仍然显示;应把它当作旧请求拒绝,需要时重新发起任务。批准旧请求不会重启旧任务。包含多个动作的请求在批准框中可能只描述为“控制应用”,选择本次允许前应核对任务计划修改的内容。

预先批准应用​

  1. 在本页找到 已批准应用。
  2. 点击 预先批准应用…。
  3. 在 macOS 选择器中选择已安装的应用,并在选择器中打开。应选择应用本身,而不是文档或安装包。
  4. 核对成功提示和列表;必要时点击列表旁的 刷新。

列表显示应用名称或标识、使用次数、最近使用时间。应用标识有助于区分名称相似的应用。这里的次数只反映经过应用批准检查的操作,不是全部桌面活动的完整记录。

预先批准不等于同意应用内的所有操作。不要为了绕过拒绝而批准密码管理器或系统设置;敏感的安全步骤应由你亲自完成。

撤销与恢复批准​

在目标应用旁点击 撤销,在 撤销批准? 中核对应用身份,再确认 撤销。选择 取消 则保持原批准不变。

对于受应用批准检查保护的操作,已撤销应用会持续被拒绝,直到你重新预先批准。关闭严格批准 不会 恢复它,也不保证下次会重新弹出申请。需要恢复时,再次使用 预先批准应用…。上述批准覆盖范围的限制仍然适用。

显示画中画预览​

在 默认行为 中打开 画中画预览,Ghast 会立即请求显示悬浮、可穿透点击的预览窗口;点击 保存 会记录开关偏好。保存不会让预览在重启 Ghast 后自动打开。

当前限制: Chat 和编码中的内置桌面任务不会向此预览提供画面,因此不能用它实时观看这些任务。预览可能保持空白,或显示其他控制集成先前提供的旧图;它不是连续实时录屏。

预览窗口会置顶,并显示在不同桌面空间和全屏应用上方。它用于观看,不用于交互:点击会落到其后的窗口。需要介入时,使用目标应用或先接管电脑。

出现 预览更新失败 时,开关处于开启状态不代表预览已经打开。阅读错误,解决问题后再重试开关。关闭开关可隐藏预览,再点击 保存 保留关闭状态。确认保存、提交是否成功时,仍应检查真实目标应用。

记录本机操作日志​

需要排查时,打开 记录操作日志 并点击 保存。日志和画中画默认均关闭,与严格批准相互独立。

日志保存控制集成上报的操作,例如工具、目标应用、参数、耗时和错误。内置桌面工具不会自动写入此日志。 因此,空日志不能证明没有发生桌面操作;存在记录也不能证明外部应用已经保存或提交成功。

当前设置页没有操作日志查看器。向支持人员分享诊断记录前,先检查并删除敏感文字和应用信息。不再需要时关闭记录并保存;这只停止新增记录,不代表清除已有记录。

排查​

页面始终无法显示“就绪”​

点击 系统权限 旁的 刷新,检查两项权限和错误提示。在页面底部展开 诊断信息,查看 CUA Driver 版本、平台及 Embedded/Daemon 运行方式。

请求帮助时,提供 Ghast 版本、macOS 版本、页面状态、权限状态、诊断值和完整错误。个人路径或窗口内容应先脱敏。不要授予无关权限,也不要用开发构建命令修复已安装的客户端。

Ghast 没有操作桌面,或提示工具不可用​

明确要求:“使用计算机控制观察[应用和窗口]。”检查所选模型、当前会话可用工具,以及是否存在已禁用或不可用的集成。参阅 Tools 和 Plugins。就绪 只检查本机准备情况,不检查当前模型的工具访问。

能看到窗口,但读取、点击或输入失败​

截图异常时检查 屏幕录制;读取控件或交互异常时检查 辅助功能。确认准确的应用和窗口,再让 Ghast 观察当前界面。即使两项权限均已授权,失效窗口、变化的对话框或应用自身限制仍可能造成失败。

如果工具提示用户已接管,只有准备恢复桌面操作时才选择 交还给 agent。

批准一直等待、被拒绝或已撤销​

回到 Ghast 处理可见请求。本次允许 只覆盖一条请求,但其中可能包含多个动作。已撤销的应用应通过 预先批准应用… 恢复,而不是关闭严格批准。如果某个动作因安全原因被拒绝,亲自完成敏感步骤,不要尝试绕过拒绝。

点击或提交后任务超时​

先检查外部应用:文档是否已保存、消息是否已发出、表单是否已提交。让 Ghast 先读取结果再考虑重试;超时或缺少确认不代表操作没有发生。