(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210199652.7 (22)申请日 2022.03.01 (71)申请人 达而观信息科技 （上海） 有限公司 地址 201203 上海市浦东 新区亮秀路1 12号 B座301、 303、 304室 (72)发明人 何双钻　张涛　刘迪康　王攀　 邵万骏　金克　陈运文　纪达麒　 (74)专利代理 机构 上海智力专利商标事务所 (普通合伙) 31105 专利代理师 周涛 (51)Int.Cl. G06F 9/451(2018.01) G06F 11/34(2006.01) G06F 11/36(2006.01) (54)发明名称 一种用户界面交互式流程录制方法、 系统、 计算机设备及可读存 储介质 (57)摘要 本发明公开了一种用户界面交互式流程录 制方法、 系统、 计算机设备及可读存储介质， 本发 明能够消除基于操作系统事件来进行流程录制 所带来的大量干扰， 每一个录制步骤都是明确定 义的， 能够生成更有效的流程代码， 提升流程录 制的效率， 更加专注业务逻辑的录制； 同时也解 决了录制过程中难以进行产品级扩展的问题， 通 过交互式的逻辑， 可以支持和产品进行深度结 合， 支持产品级扩展， 扩展出更多的产品形态， 为 后期产品新增功能、 横向无限扩展提供了插拔式 的解决方案， 可以提供 更好的用户体验。 权利要求书2页 说明书5页 附图1页 CN 114691263 A 2022.07.01 CN 114691263 A 1.一种用户界面交 互式流程录制方法， 其特 征在于， 具体包括以下步骤： S1， 根据鼠标当前的屏幕坐标确定其对应的用户界面元 素及位置； S2， 根据用户界面元素及其位置确定该元素所支持的行为， 用户选择用户界面元素所 支持行为中其中一种或几种 特定行为， 程序记录下该行为并执行一次该行为， 实现交互式 录制； S3， 重复步骤S1 ‑S2， 实现连续录制， 当录制 结束时， 用户按下退出录制快捷键， 退出录 制并保存录制内容。 2.根据权利要求1所述的用户界面交互式流程录制方法， 其特征在于， 步骤S1中根据鼠 标当前的屏幕坐标确定其对应的用户界面元 素及位置的具体步骤为： 根据鼠标当前的屏幕坐标确定出其对应的用户界面元 素； 判断用户界面元素是否属于操作系统原生的界面元素， 并根据判断结果从对应的API 接口来定位用户界面元 素的位置 。 3.根据权利要求2所述的用户界面交互式流程录制方法， 其特征在于， 在判断用户界面 元素是否属于操作系统原生的界面元 素时， 若用户界面元素是操作系统原生的界面元素， 则通过操作系统提供的API接口来定位 用户界面元 素的位置； 若用户界面元素不是操作系统原生的界面元素， 则判断用户界面元素所在应用程序 是 否支持开放的API接口， 若支持， 则通过用户界面元素所在应用程序自身开放的API接口来 定位用户界面元 素的位置， 否则通过计算机 视觉技术来定位用户界面元 素的位置 。 4.根据权利要求3所述的用户界面交互式流程录制方法， 其特征在于， 所述操作系统提 供的API接口为Hit ‑Test API接口， 用户界面元 素所在应用程序自身开 放的API接口为Ac cessibility API接口。 5.根据权利要求1所述的用户界面交互式流程录制方法， 其特征在于， 步骤S2中在根据 用户界面元素及其位置确定该元素所支持的行为时， 还可同时确定该用户界面元素支持的 扩展行为。 6.根据权利要求5所述的用户界面交互式流程录制方法， 其特征在于， 所述用户界面元 素支持的扩展行为是指与产品相关的功能。 7.根据权利要求6所述的用户界面交互式流程录制方法， 其特征在于， 所述用户界面元 素支持的扩展行为包括扩展定位循环开始或结束的逻辑功 能、 扩展添加元素注释功 能、 为 未支持Ac cessibility API接口的元素支持某些产品定义的行为。 8.一种用户界面交 互式流程录制系统， 其特 征在于， 包括： 用户界面元素定位器， 用于根据鼠标当前的屏幕坐标确定其对应的用户界面元素及位 置； 用户界面元素行为查询器， 用于根据用户界面元素及其位置确定该元素所支持的行 为； 用户界面元素扩展操作查询器， 用于根据用户界面元素的位置确定该元素所支持的扩 展行为。 9.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现权利要求 1‑7中任一项 所述权　利　要　求　书 1/2 页 2 CN 114691263 A 2方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1 ‑7中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 114691263 A 3