(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211392608.4 (22)申请日 2022.11.08 (71)申请人 广东电网有限责任公司 地址 510600 广东省广州市越秀区东 风东 路757号 申请人 广东电网有限责任公司珠海供电局 (72)发明人 曾啸　陈霖　刘锦湖　王强　 许典鸿　苗浩　徐雪丹　阮贝　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 杨艺 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 10/82(2022.01)G06V 10/80(2022.01) G06V 10/762(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种挖掘机动作识别方法、 系统、 设备和存 储介质 (57)摘要 本发明公开了一种 挖掘机动作识别方法、 系 统、 设备和存储介质， 本发明通过目标检测网络 提取中间图像的挖掘机特征， 生成对应的热力预 测图； 根据热力预测图求解挖掘机对应的关节点 位置， 并构建各个关节点之间的向量图， 生成挖 掘机的运动特征； 计算多个预设的标准动作聚类 中心与运动特征之间的角度距离； 将角度距离的 最小值对应的标准动作聚类中心对应的标准动 作确定为挖掘机的运动动作。 解决了现有的技术 存在挖掘机挖断电缆的风险的技术问题。 本发明 通过利用线缆附近的监控视频， 对挖掘机等重型 机械的破坏动作进行识别， 智能分析其中潜在的 针对线缆的危险动作， 并及时给予预警。 权利要求书3页 说明书12页 附图5页 CN 115497053 A 2022.12.20 CN 115497053 A 1.一种挖掘机动作识别方法， 其特 征在于， 包括： 获取待监测区域的监控视频并逐帧提取挖掘机所处的环境图像； 按照预设倍 率调节所述环境图像， 生成中间图像并输入目标检测网络； 通过所述目标检测网络提取 所述中间图像的挖掘机特 征， 生成对应的热力预测图； 根据所述热力预测图求解所述挖掘机对应的关节点位置， 并构建各个关节点之间的向 量图， 生成所述挖掘机的运动特 征； 计算多个预设的标准动作聚类中心与所述 运动特征之间的角度距离； 将所述角度距离的最小值对应的标准动作聚类中心对应的标准动作确定为所述挖掘 机的运动 动作。 2.根据权利要求1所述的挖掘机动作识别方法， 其特征在于， 所述目标检测网络包括第 一卷积层、 第二卷积层、 第三卷积层和高斯热图层； 所述通过所述目标检测网络提取所述中 间图像的挖掘机特 征， 生成对应的热力预测图的步骤， 包括： 通过所述第 一卷积层对所述中间图像进行卷积， 生成对应的目标第 一卷积特征图并输 入所述第二卷积层； 通过所述第 二卷积层对所述目标第 一卷积特征图进行卷积， 生成对应的目标第 二卷积 特征图并输入所述第三卷积层； 通过所述第 三卷积层对所述目标第 二卷积特征图进行卷积， 生成对应的目标第 三卷积 特征图并输入所述高斯热图层； 通过所述高斯热图层对所述目标第 三卷积特征图进行热图预测， 生成对应的热力预测 图。 3.根据权利要求2所述的挖掘机动作识别方法， 其特征在于， 所述通过所述第 一卷积层 对所述中间图像进行卷积， 生成对应的目标第一卷积特征图并输入所述第二卷积层的步 骤， 包括： 通过所述第 一卷积层对所述中间图像进行卷积， 生成多个不同分辨率的初始第 一卷积 特征图； 按照最高分辨率对应的初始第一卷积特征图对剩余的所述初始第一卷积特征图进行 卷积， 生成多个更新第一卷积特 征图； 采用所述最高分辨率对应的初始第一卷积特征图和多个所述更新第一卷积特征图进 行融合， 生成对应的目标第一卷积特 征图并输入所述第二卷积层。 4.根据权利要求2所述的挖掘机动作识别方法， 其特征在于， 所述通过所述第 二卷积层 对所述目标第一卷积特征图进 行卷积， 生成对应的目标第二卷积特征图并输入所述第三卷 积层的步骤， 包括： 通过所述第 二卷积层对所述目标第 一卷积特征图进行卷积， 生成多个不同分辨率的初 始第二卷积特 征图； 按照中间分辨率对应的初始第二卷积特征图对剩余的所述初始第二卷积特征图进行 卷积， 生成多个更新第二卷积特 征图； 采用所述中间分辨率对应的初始第二卷积特征图和多个所述更新第二卷积特征图进 行融合， 生成对应的目标第二卷积特 征图并输入所述第三卷积层。 5.根据权利要求2所述的挖掘机动作识别方法， 其特征在于， 所述通过所述第 三卷积层权　利　要　求　书 1/3 页 2 CN 115497053 A 2对所述目标第二卷积特征图进 行卷积， 生成对应的目标第三卷积特征图并输入所述高斯热 图层的步骤， 包括： 通过所述第 三卷积层对所述目标第 二卷积特征图进行卷积， 生成多个不同分辨率的初 始第三卷积特 征图； 按照最低分辨率对应的初始第三卷积特征图对中间分辨率对应的初始第三卷积特征 图进行卷积， 生成多个更新第三卷积特 征图； 按照所述最低分辨率对应的初始第三卷积特征图对最高分辨率对应的初始第三卷积 特征图进行 预设次数的卷积， 生成多个更新第四卷积特 征图； 采用所述最低分辨率对应的初始第 三卷积特征图、 多个所述更新第 三卷积特征图和多 个所述更新第四卷积特征图进 行融合， 生成对应的目标第三卷积特征图并输入所述高斯热 图层。 6.根据权利要求1所述的挖掘机动作识别方法， 其特征在于， 所述根据 所述热力预测图 求解所述挖掘 机对应的关节点位置， 并构建各个关节点之间的向量图， 生成所述挖掘 机的 运动特征的步骤， 包括： 采用编解码技术求解所述热力预测图的最大激活位置， 确定所述挖掘机对应的关节点 位置； 构建各个关节点之间的向量图， 将所述向量图中的关节点旋转角确定为所述挖掘机的 运动特征。 7.根据权利要求1所述的挖掘机动作识别方法， 其特征在于， 所述计算多个预设的标准 动作聚类中心与所述 运动特征之间的角度距离的步骤， 包括： 计算预设的标准动作聚类中心对应的标准动作旋转角与所述运动特征对应的关节点 旋转角之间的欧氏距离； 计算全部所述欧氏距离的欧氏距离和值； 计算所述欧氏距离和值和预设偏移量的和值， 生成角度距离 。 8.一种挖掘机动作识别系统， 其特 征在于， 包括： 环境图像模块， 用于获取待监测区域的监控视频并逐帧提取挖掘机所处的环境图像； 目标检测网络模块， 用于按照预设倍率调节所述环境图像， 生成中间图像并输入目标 检测网络； 热力预测图模块， 用于通过所述目标检测网络提取所述中间图像的挖掘机特征， 生成 对应的热力预测图； 运动特征模块， 用于根据所述热力预测图求解所述挖掘机对应的关节点位置， 并构建 各个关节点之间的向量图， 生成所述挖掘机的运动特 征； 角度距离模块， 用于计算多个预设的标准动作聚类中心与所述运动特征之间的角度距 离； 运动动作模块， 用于将所述角度距离的最小值对应的标准动作聚类中心对应的标准动 作确定为所述挖掘机的运动 动作。 9.一种电子设备， 其特征在于， 包括存储器及处理器， 所述存储器中储存有计算机程 序， 所述计算机程序被所述处理器执行时， 使得所述处理器执行如权利要求 1‑7任一项所述 的挖掘机动作识别方法的步骤。权　利　要　求　书 2/3 页 3 CN 115497053 A 3