(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210345045.7 (22)申请日 2022.04.02 (71)申请人 中国电子产品可靠性与环境试验研 究所 （ （工业和信息化部电子第五研 究所） （中国赛宝实验室） ） 地址 511300 广东省广州市增城区朱 村街 朱村大道西78号 (72)发明人 刘务　杨春晖　吴蕾　徐巍　袭安　 陈烨　 (74)专利代理 机构 华进联合专利商标代理有限 公司 44224 专利代理师 杨苓 (51)Int.Cl. G06F 11/36(2006.01) G06F 9/451(2018.01) (54)发明名称 应用软件画面元素识别方法、 装置及计算机 设备 (57)摘要 本申请涉及一种应用软件画面元素识别方 法、 装置、 计算机设备、 存储介质和计算机程序产 品。 所述方法包括： 获取界面中画面元素的属性 信息， 获取画面元素黑名单列表与画面元素白名 单列表， 属性信息包括类型和标题； 根据属性信 息， 画面元素黑名单列表与画面元素白名单列 表， 判断画面元素是否为指定应用场景中有效画 面元素。 采用本方法能够可以淘汰无效画面元 素， 避免在手工录制过程中， 由于无效画面元素 的弹出而影 响录制结果， 从而保证录制结果的准 确性。 权利要求书2页 说明书14页 附图2页 CN 114860574 A 2022.08.05 CN 114860574 A 1.一种应用软件画面元 素识别方法， 其特 征在于， 所述方法包括： 获取界面中画面元素的属性信息， 获取画面元素黑名单列表与画面元素白名单列表， 所述属性信息包括类型和标题； 根据所述属性信息， 所述画面元素黑名单列表与所述画面元素白名单列表， 判断所述 画面元素是否为指定应用场景中有效画面元 素。 2.根据权利要求1所述的方法， 其特征在于， 所述画面元素为窗口， 所述属性信息包括 窗口类型、 窗口标题和窗口执行文件名； 所述画面元素黑名单列表与所述画面元素白名单 列表分别为窗口黑名单列表与窗口白名单列表； 所述根据所述属 性信息， 所述画面元素黑 名单列表与所述画 面元素白名单列 表， 判断所述画 面元素是否为指定应用场景中有效画 面 元素， 包括： 确定多个窗口中的活跃窗口； 根据所述活跃窗口的窗口类型、 窗口标题和窗口执行文件名， 判断所述活跃窗口是否 属于所述窗口白名单列表； 若所述活跃窗口属于所述窗口白名单列表， 则根据所述活跃窗口的窗口类型、 窗口标 题和窗口执行文件名， 判断所述活跃窗口是否属于所述窗口黑名单列表； 若所述活跃窗口 不属于所述窗口黑名单列表， 则确定所述活跃窗口为指定应用场景中有效窗口。 3.根据权利要求2所述的方法， 其特征在于， 所述 窗口白名单列表包括有 效窗口标题集 合、 有效窗口类型集合和有效窗口执行文件名集合； 所述根据所述活跃窗口的窗口类型、 窗 口标题和窗口执 行文件名， 判断所述活跃窗口是否属于所述窗口白名单列表， 包括： 在不区分大小写的情况下， 分别判断所述活跃窗口的窗口标题是否属于所述有 效窗口 标题集合、 判断所述活跃窗口的窗口执行文件名是否属于所述有效窗口执行文件名集合以 及判断所述活跃窗口 的窗口类型 是否属于所述有效窗口类型集 合， 得到三个判断结果； 若所述三个判断结果中存在一个判断结果为属于， 则确定所述活跃窗口属于所述窗口 白名单列表。 4.根据权利要求1所述的方法， 其特征在于， 所述画面元素为控件， 所述属性信息包括 控件类型以及 控件标题； 所述画 面元素黑名单列 表与所述画 面元素白名单列 表分别为控件 黑名单列表与控件白名单列表； 所述根据所述属 性信息， 所述画面元素黑名单列表与所述 画面元素白名单列表， 判断所述画面元 素是否为指定应用场景中有效画面元 素， 还包括： 确定多个控 件中的活跃控 件； 根据所述活跃控件的控件类型以及控件标题， 判断所述活跃控件是否属于所述控件白 名单列表； 若所述活跃控件属于所述控件白名单列表， 则根据所述控件类型以及控件标题， 判断 所述活跃控件是否属于所述控件黑名单列表； 若所述活跃控件不属于所述控件黑名单列 表， 则确定所述活跃控 件为指定应用场景中有效控 件。 5.根据权利要求4所述的方法， 其特征在于， 所述控件白名单列表包括有 效控件标题集 合以及有效控件类型集合； 所述根据所述活跃控件的控件类型以及控件标题， 判断所述活 跃控件是否属于所述控 件白名单列表， 包括： 在不区分大小写的情况下， 分别判断所述活跃控件的控件标题是否属于所述有 效控件 标题集合以及判断所述活跃控件的控件类型是否属于所述有效控件类型集合， 得到两个判权　利　要　求　书 1/2 页 2 CN 114860574 A 2断结果； 若所述两个判断结果中存在一个判断结果为属于， 则确定所述活跃控件属于所述控件 白名单列表。 6.根据权利要求 4所述的方法， 其特 征在于， 所述方法还 包括： 对于所述界面中的指定窗口， 将所述指定窗口中每一控件均作为画面控件， 将每一画 面控件的位置坐标、 控 件内容和控 件类型， 作为对应画面控 件的定义内容； 对于任一画面控件， 判断所述任一画面控件是否为编辑控件， 若否， 则将所述任一画面 控件的控件内容作为第一预选名称； 分别判断处于所述任一画面控件的每一预设方位上距离最近的相邻画面控件是否为 编辑控件， 得到每一预设方位对应的判断结果， 将判断结果为否所对应的相邻画面控件的 控件内容均 作为第二预选名称； 根据所述第一预选名称以及第二预选名称， 确定所述任一画面控 件的预选名称。 7.一种应用软件画面元 素识别装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取界面中画面元素的属性信息， 获取画面元素黑名单列表与画面元 素白名单列表， 所述属性信息包括类型和标题； 第一判断模块， 用于根据所述属性信息， 所述画面元素黑名单列表与所述画面元素白 名单列表， 判断所述画面元 素是否为指定应用场景中有效画面元 素。 8.一种计算机设备， 包括存储器和处理器， 所述存储器存储有计算机程序， 其特征在 于， 所述处 理器执行所述计算机程序时实现权利要求1至 6中任一项所述的方法的步骤。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被 处理器执行时实现权利要求1至 6中任一项所述的方法的步骤。 10.一种计算机程序产品， 包括计算机程序， 其特征在于， 该计算机程序被处理器执行 时实现权利要求1至 6中任一项所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 114860574 A 3