桌面操控
观察屏幕、识别控件与切换窗口
让助手先确认看到了什么,再找到正确的窗口、按钮和输入位置。
功能概述
南斗可以获取桌面截图、列出窗口、激活目标窗口、打开应用,并在应用提供辅助功能信息时识别控件名称和角色。能看见的画面与能按名称定位的控件并不总是一一对应;画布、图片或自绘界面可能需要通过截图定位。
01开始之前#
当前任务 → 指定目标应用与窗口 → 先观察 → 再定位
所有成员
02跟着步骤操作#
说明需要观察的范围
写清应用名称和目标窗口标题,例如“仅查看记事本的练习窗口”。如果只需要识别界面,明确要求暂不点击、不输入。
先核对当前画面
让助手报告当前前台应用、窗口标题与可见内容。画面被弹窗遮挡时,先识别弹窗,不沿用背后页面的位置操作。
选择正确窗口
有多个应用或同名文件时,让助手列出可用窗口并说明候选。确认后切到目标窗口;应用尚未打开时,说明允许打开的准确应用名称。
定位具体控件
要求找出“搜索框”“另存为按钮”等对象。可识别控件时优先按名称定位;没有控件信息时,再根据最新截图确定位置。
小步滚动或展开
内容在屏幕外时,指明滚动哪个列表、朝哪个方向和找到什么就停止。悬停、展开菜单或翻页后重新观察,确认新内容确实出现。
把观察结果用于下一步
目标唯一且可用后,再交办点击或输入。窗口移动、弹窗出现或布局变化后重新定位,不继续使用之前的画面位置。
先观察本机桌面,列出与“练习”有关的记事本窗口。只报告窗口标题和可见内容,不输入、不保存;有多个候选时等我选择。
指南与技巧
让定位更准确的五个习惯
1. 用业务名称描述控件
说“在搜索产品的输入框中填写”,比“点击右上角那里”更不容易混淆;同名按钮再补充所在区域。
2. 把观察与修改分开
第一次进入陌生软件时,先让助手描述界面与可操作对象。你确认理解一致后,再发送实际操作要求。
3. 关注遮挡与弹窗
菜单、通知、浮层可能挡住目标。先确定它们是什么;不要让助手为继续流程而随意关闭不明弹窗。
4. 多显示器保持布局稳定
过程中避免插拔显示器或调整缩放。操作失败后重新识别当前画面,不要求助手继续沿用旧坐标。
5. 打开应用与打开文件分开
“启动编辑器”不代表已打开目标文档。文件打开后,继续核对名称与正文,再进行填写或保存。
03怎样确认做对了#
目标应用、窗口与控件明确,下一步动作有当前画面依据;同名对象已经区分。
04常见情况与解决方法#
能看到按钮,为什么按名称找不到
部分应用没有提供完整的辅助功能信息。让助手重新截图定位;仍有歧义时停下由本人指出位置,不承诺所有按钮都可按名称识别。
切到了错误文件或同名窗口
停止输入,重新列出窗口并核对标题和内容。用文件名、窗口内的一段可见文字等进一步区分。
滚动了整个页面而不是目标列表
说明具体滚动区域,先重新观察该区域边界,再用较小幅度滚动并核对。
调整缩放或显示器后无法继续
分辨率、显示缩放或显示器配置改变可能使原定位失效。保持设置稳定,让助手结束旧会话、重新观察并建立新的操控会话。
05继续学习#
功能入口可能因客户端版本、组织配置和个人权限而有所不同,请以当前界面为准。