桌面操控

观察屏幕、识别控件与切换窗口

让助手先确认看到了什么,再找到正确的窗口、按钮和输入位置。

功能概述

南斗可以获取桌面截图、列出窗口、激活目标窗口、打开应用,并在应用提供辅助功能信息时识别控件名称和角色。能看见的画面与能按名称定位的控件并不总是一一对应;画布、图片或自绘界面可能需要通过截图定位。

01开始之前#

操作入口

当前任务 → 指定目标应用与窗口 → 先观察 → 再定位

适用人员

所有成员

02跟着步骤操作#

  1. 说明需要观察的范围

    写清应用名称和目标窗口标题,例如“仅查看记事本的练习窗口”。如果只需要识别界面,明确要求暂不点击、不输入。

  2. 先核对当前画面

    让助手报告当前前台应用、窗口标题与可见内容。画面被弹窗遮挡时,先识别弹窗,不沿用背后页面的位置操作。

  3. 选择正确窗口

    有多个应用或同名文件时,让助手列出可用窗口并说明候选。确认后切到目标窗口;应用尚未打开时,说明允许打开的准确应用名称。

  4. 定位具体控件

    要求找出“搜索框”“另存为按钮”等对象。可识别控件时优先按名称定位;没有控件信息时,再根据最新截图确定位置。

  5. 小步滚动或展开

    内容在屏幕外时,指明滚动哪个列表、朝哪个方向和找到什么就停止。悬停、展开菜单或翻页后重新观察,确认新内容确实出现。

  6. 把观察结果用于下一步

    目标唯一且可用后,再交办点击或输入。窗口移动、弹窗出现或布局变化后重新定位,不继续使用之前的画面位置。

试试这样交办

先观察本机桌面,列出与“练习”有关的记事本窗口。只报告窗口标题和可见内容,不输入、不保存;有多个候选时等我选择。

指南与技巧

让定位更准确的五个习惯

  1. 1. 用业务名称描述控件

    说“在搜索产品的输入框中填写”,比“点击右上角那里”更不容易混淆;同名按钮再补充所在区域。

  2. 2. 把观察与修改分开

    第一次进入陌生软件时,先让助手描述界面与可操作对象。你确认理解一致后,再发送实际操作要求。

  3. 3. 关注遮挡与弹窗

    菜单、通知、浮层可能挡住目标。先确定它们是什么;不要让助手为继续流程而随意关闭不明弹窗。

  4. 4. 多显示器保持布局稳定

    过程中避免插拔显示器或调整缩放。操作失败后重新识别当前画面,不要求助手继续沿用旧坐标。

  5. 5. 打开应用与打开文件分开

    “启动编辑器”不代表已打开目标文档。文件打开后,继续核对名称与正文,再进行填写或保存。

03怎样确认做对了#

目标应用、窗口与控件明确,下一步动作有当前画面依据;同名对象已经区分。

04常见情况与解决方法#

能看到按钮,为什么按名称找不到

部分应用没有提供完整的辅助功能信息。让助手重新截图定位;仍有歧义时停下由本人指出位置,不承诺所有按钮都可按名称识别。

切到了错误文件或同名窗口

停止输入,重新列出窗口并核对标题和内容。用文件名、窗口内的一段可见文字等进一步区分。

滚动了整个页面而不是目标列表

说明具体滚动区域,先重新观察该区域边界,再用较小幅度滚动并核对。

调整缩放或显示器后无法继续

分辨率、显示缩放或显示器配置改变可能使原定位失效。保持设置稳定,让助手结束旧会话、重新观察并建立新的操控会话。

功能入口可能因客户端版本、组织配置和个人权限而有所不同,请以当前界面为准。

界面位置