(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210528320.9 (22)申请日 2022.05.16 (71)申请人 广州番禺职业 技术学院 地址 511483 广东省广州市番禺区沙湾镇 市良路1342号 (72)发明人 吴锐　郑铭涵　林静敏　郑奕玲　 钟槟蔚　杨鹏　 (74)专利代理 机构 广州汇盈知识产权代理事务 所(普通合伙) 44603 专利代理师 邓有才 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/80(2022.01) G06F 11/36(2006.01) G06V 10/26(2022.01)G06V 10/44(2022.01) (54)发明名称 用户界面识别智能化测试方法、 装置、 终端 及存储介质 (57)摘要 本发明公开了一种用户界面识别智能化测 试方法、 装置、 终端及存储介质， 该测试方法包括 获取应用软件的用户 界面截图； 获取差异性阈 值； 通过差分测试技术结合图像识别技术， 对用 户界面截图进行界面特征提取和界面相似性度 量， 通过界面相似性与差异性阈值的比较， 判断 同一款应用软件在不同设备上是否存在显示差 异， 将测试结果生成差分测试报告。 上述方法解 决了现有技术的软件测试领域对于用户界面的 测试方法依然不足， 其基于用户界面的多维度特 征， 借鉴现有的成熟的图像处理技术， 实现对用 户界面的特征识别和提取， 提高精确度， 摆脱对 于人工鉴别的依赖， 并且自定义差分检测方法， 满足复杂的用户界面的检测， 最终根据相似度提 供差分测试报告。 权利要求书2页 说明书6页 附图1页 CN 114863142 A 2022.08.05 CN 114863142 A 1.一种用户界面识别 智能化测试 方法， 其特 征在于， 包括： 获取应用软件的用户界面截图； 获取差异性阈值； 通过差分测试技术结合图像识别技术， 对用户界面截图进行界面特征提取和界面相似 性度量， 通过界面相似性与差异性阈值的比较， 判断同一款应用软件在不同设备上是否存 在显示差异， 将测试 结果生成差分测试报告。 2.根据权利要求1所述的用户界面识别智能化测试方法， 其特征在于， 所述界面特征提 取包括如下步骤： 对用户界面截图进行区块分割， 获取区块 集合； 根据区块 堆叠关系构建区块关联关系图； 根据边缘检测获取 所有区块中的控 件； 根据图像理解和意图识别技 术识别控 件意图。 3.根据权利要求2所述的用户界面识别智能化测试方法， 其特征在于， 在对用户界面截 图进行区块分割， 获取区块 集合的步骤中， 具体包括： 首先应用高斯滤波来平滑图像， 去除部分噪声， 然后寻找图像的强度梯度， 应用非最大 抑制技术消除边的误检， 接着用双阈值来决定可能的边界， 根据同一分区中的控件类型 的 相关性对分区进行分割， 分割后得到的每一个分区中的控件是同一类型， 而不同分区中的 控件是不同类型。 4.根据权利要求2所述的用户界面识别智能化测试方法， 其特征在于， 所述区块关联关 系图中的点表示 一个分区， 边表示两个分区之间的关联关系。 5.根据权利要求2所述的用户界面识别智能化测试方法， 其特征在于， 在根据边缘检测 获取所有区块中的控 件的步骤中， 具体包括： 采用图形边 缘检测技 术检测每 个控件的边界， 然后统计控 件的种类和数量。 6.根据权利要求1所述的用户界面识别智能化测试方法， 其特征在于， 所述界面相似性 度量包括如下步骤： 根据用户界面 不同维度特 征设计对应的相似性度量方法； 使用融合 算法将多个维度的相似度融合 为单一值， 用于表示用户界面的相似度。 7.根据权利要求6所述的用户界面识别智能化测试方法， 其特征在于， 所述融合算法采 用如下公式： 其中， 表示界面1和界面2， 表示两个用户界面的相似度， 表示控件的 相似度， 表示控件意图的相似度， 表示关联关系图的相似度， 表示融合 函数。 8.一种用户界面识别 智能化测试装置， 其特 征在于， 包括： 上传模块， 用于获取应用软件的用户界面截图； 设定模块， 用于获取差异性阈值； 差分测试模块， 用于通过差分测试技术结合图像识别技术， 对用户界面截图进行界面 特征提取和界面相似性度量， 通过界面相似性与差异性阈值的比较， 判断同一款应用软件 在不同设备 上是否存在显示差异， 将测试 结果生成差分测试报告。权　利　要　求　书 1/2 页 2 CN 114863142 A 29.一种终端， 其特征在于， 所述终端包括存储器、 处理器及存储在所述存储器上并可在 所述处理器上运行 的用户界面识别智能化测试程序， 其中： 所述用户界面识别智能化测试 程序被所述处理器执行时实现如权利要求1至7任一项所述的用户界面识别智能化测试方 法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有用户界 面识别智能化测试程序， 所述用户界面识别智能化测试程序被处理器执行时实现如权利要 求1至7任一项所述的用户界面识别 智能化测试 方法的步骤。权　利　要　求　书 2/2 页 3 CN 114863142 A 3