(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210278790.4 (22)申请日 2022.03.21 (71)申请人 广州品唯软件 有限公司 地址 510000 广东省广州市荔湾区芳村花 海街20号自编6号楼(仅限办公) (72)发明人 贺旭　许伟　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 陈嘉雯 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/48(2022.01) G06V 30/10(2022.01) G06F 3/0484(2022.01) (54)发明名称 获取用户界面元素的方法、 装置、 设备及可 读存储介质 (57)摘要 本申请公开了一种获取用户界面元素的方 法、 装置、 设备及可读存储介质， 方法包括： 获取 终端屏幕当前待获取元素数据的用户界面的截 图； 对截图进行灰度处理， 再确定灰度图片中的 多个包含截图中的文字， 和/或图片元素轮廓； 进 而提取多个元素轮廓中的文字， 和/或图片及其 各自在截图中的属性信息； 输出文字和所述图片 及其各自对应的属性信息。 显然， 确定用户界面 截图的多个轮廓可以提取各个轮廓中的文字和 图片， 进而可以确定该文字和图片在用户界面截 图的属性信息， 将这些属性信息输出向用户输出 可以实现高效地获取用户界面的元素数据， 可以 让用户快速地了解该用户界面中包含的各个元 素的属性信息， 为用户进行后续的测试操作提供 了极大的便利。 权利要求书2页 说明书10页 附图4页 CN 114627295 A 2022.06.14 CN 114627295 A 1.一种获取用户界面元 素的方法， 其特 征在于， 包括： 获取终端屏幕当前用户界面的截图； 对所述截图进行 灰度处理， 得到灰度图片； 确定所述灰度图片中的多个元素轮廓， 所述元素轮廓包含所述截图中的文字， 和/或图 片； 提取所述多个元 素轮廓中的文字， 和/或图片及其各自在所述截图中的属性信息； 输出所述文字和所述图片及其各自对应的所述属性信息 。 2.根据权利要求1所述的方法， 其特征在于， 在所述提取所述多个元素轮廓中的文字， 和/或图片及其各自在所述截图中的属性信息之前， 还 包括： 将达到设定的合并尺寸的元素轮廓作为第 一目标元素轮廓， 将仅包含文字且与所述第 一目标元素轮廓的距离在设定范围内的元素轮廓合并到所述第一目标元素轮廓中， 得到合 并后的各个元 素轮廓。 3.根据权利要求1所述的方法， 其特征在于， 在所述提取所述多个元素轮廓中的文字， 和/或图片及其各自在所述截图中的属性信息之前， 还 包括： 判断尺寸达 到设定的拆分要求的第二目标 元素轮廓中是否包 含其它元 素轮廓； 若是， 则从所述第二目标元素轮廓中分割出所述其它元素轮廓， 得到分割后的各个元 素轮廓。 4.根据权利要求3所述的方法， 其特征在于， 所述从所述第 二目标元素轮廓中分割出所 述其它元素轮廓， 包括： 将所述第二目标 元素轮廓进行二 值化处理； 检测二值化处理后的所述第二目标 元素轮廓中包 含的其它元 素轮廓的边 缘线条； 根据所述其它元素轮廓的边缘线条， 从所述第 二目标元素轮廓中分割出对应的其它元 素轮廓。 5.根据权利要求1所述的方法， 其特征在于， 所述提取所述多个元素轮廓中的文字， 和/ 或图片及其各自在所述截图中的属性信息， 包括： 提取每个所述元 素轮廓中包 含的第一文字 部分； 对所述第一文字部分进行二值化处理， 并提取二值化处理后的所述第 一文字部分中包 含的第一文字内容， 得到各个所述元 素轮廓中的第一文字； 确定所述第一文字在所述截图中的位置、 大小以及颜色； 和/或， 提取每个所述元 素轮廓中的图片； 确定所述图片在所述截图中的位置和大小。 6.根据权利要求5所述的方法， 其特征在于， 所述提取所述多个元素轮廓中的文字， 和/ 或图片及其各自在所述截图中的属性信息， 还 包括： 在所述提取每个所述元素轮廓中的图片之后， 若所述图片中包含第二文字部分， 则提 取所述图片中包 含的第二文字 部分； 对所述第二文字部分进行二值化处理， 并提取二值化处理后的所述第 二文字部分中包 含的第二文字内容， 得到所述图片中的第二文字； 确定所述第二文字在所述截图中的位置、 大小以及颜色。权　利　要　求　书 1/2 页 2 CN 114627295 A 27.一种获取用户界面元 素的装置， 其特 征在于， 包括： 截图获取 单元， 用于获取终端屏幕当前用户界面的截图； 灰度处理单元， 用于对所述截图进行 灰度处理， 得到灰度图片； 轮廓确定单元， 用于确定所述灰度图片中的多个元素轮廓， 所述元素轮廓包含所述截 图中的文字， 和/或图片； 元素提取单元， 用于提取所述多个元素轮廓中的文字， 和/或图片及其各自在所述截图 中的属性信息； 元素输出单元， 用于输出所述文字和所述图片及其各自对应的所述属性信息 。 8.根据权利要求7 所述的装置， 其特 征在于， 还 包括： 轮廓合并单元， 用于将达到设定的合并尺寸的元素轮廓作为第一目标元素轮廓， 将仅 包含文字且与所述第一目标元素轮廓的距离在设定范围内的元素轮廓合并到所述第一目 标元素轮廓中， 得到合并后的各个元 素轮廓。 9.一种获取用户界面元 素的设备， 其特 征在于， 包括存 储器和处 理器； 所述存储器， 用于存 储程序； 所述处理器， 用于执行所述程序， 实现如权利要求1 ‑6任一项的获取用户界面元素的方 法的各个步骤。 10.一种可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被处理 器执行时， 实现如权利要求1 ‑6任一项的获取用户界面元 素的方法的各个步骤。权　利　要　求　书 2/2 页 3 CN 114627295 A 3