(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210514364.6 (22)申请日 2022.05.12 (71)申请人 大连大学 地址 116622 辽宁省大连市经济技 术开发 区学府大街10号 (72)发明人 秦静　陈雨龙　汪祖民　刘燕　 韩悦　季长清　 (74)专利代理 机构 大连智高专利事务所(特殊 普通合伙) 2123 5 专利代理师 毕进 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/10(2022.01) G06V 10/25(2022.01)G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (54)发明名称 基于人体姿态估计的帕金森症预警方法 (57)摘要 本发明公开了一种基于人体姿态估计的帕 金森症预 警方法， 包括： 将监控视频分割为图片， 所述图片输入特征提取网络ResNet ‑50‑FPN后得 到特征图一， 使用区域生成网络RPN获取多个目 标建议框； 通过区域特征聚集方式RoIAlign对所 述目标建议框进行区域池化， 在每个感兴趣区域 RoI中提取到小的特征图记为感兴趣区域特征 图； 将所述感兴趣区域特征图输入到改进的Mask   R‑CNN网络得到特征图三， 所述特征图三先用反 卷积进行分辨率复原， 再进行两倍的线性插值上 采样， 获取骨骼关节点图； 所述骨骼关节点图输 入到门控循环单元模型GRU中。 本发明通过Mask   R‑CNN+GRU模型预测人体姿态， 提高了帕金森症 估计的精准度； 并在预测过程加入了时间的维 度， 保证了预测可靠性。 权利要求书3页 说明书6页 附图4页 CN 114783065 A 2022.07.22 CN 114783065 A 1.基于人体姿态估计的帕金森症预警方法， 其特 征在于， 包括： 将监控视频分割为图片， 所述图片输入特征提取网络ResNet ‑50‑FPN后得到特征图一， 使用区域 生成网络RPN获取多个目标建议框； 通过区域特征聚集方式RoIAlign对所述目标建议框进行 区域池化， 在每个感兴趣区域 RoI中提取到的特 征图记为感兴趣区域特 征图； 将所述感兴趣区域特征图输入到改进的Mask  R‑CNN网络， 所述Mask  R‑CNN网络中卷积 层进行特征提取操作得到特征图二， 再利用基于注意力残差模块和数据旁路的支路一、 基 于混合空洞卷积全连接神经网络FCN的支路二分别进行深度特征提取； 所述支路一与支路 二提取的结果叠加后生成特征图三， 所述特征图三先用反卷积进行分辨率复原， 再进行两 倍的线性插值上采样， 获取骨骼关节点图； 所述骨骼关节点图输入到门控循环单元模型GRU中， 该模型首先获取更新门zt， 再获取 重置门rt， 其次是获取候选隐藏层 通过重置门rt控制需要从前一时刻的隐藏层ht‑1中遗 忘多少信息,通过更新门zt控制需要加入多少当前时刻的隐藏层 信息， 最后得到模型输 出的分类概 率分数ht。 2.根据权利要求1所述基于人体姿态估计的帕金森症预警方法， 其特征在于， 所述特征 提取网络ResNet ‑50‑FPN包括残差卷积网络ResNet和特征金字塔网络FPN， 所述残差卷积网 络ResNet的卷积层为50层； 图片先输入到ResNet ‑50网络中， 所述ResNet ‑50网络的输出结 果送到FPN网络中， 由FPN网络 输出特征图一。 3.根据权利要求1所述基于人体姿态估计的帕金森症预警方法， 其特征在于， 所述区域 特征聚集方式RoIAlign， 具体是将所述目标建议框平均划分为四份， 然后在这四份里面均 匀的设计四个或九个采样点； RoIA lign通过双线性插值从目标建议框上相 邻网格点得到每 个采样点的值。 4.根据权利要求1所述基于人体姿态估计的帕金森症预警方法， 其特征在于， 改进的 Mask R‑CNN网络包括五个相同的卷积层， 每个卷积层设置64个1 ×1、 步长为1的卷积核； 该 网络中支路一的输入处设有两个相同的注意力残差模块， 其配合数据旁路连通网路中的前 后层， 将两个注意力残差模块进 行连接和像素级的叠加， 然后经过卷积层降低维度， 输入至 全连接层进行形状重塑得到与 支路二尺寸一致的卷积层； 所述支路二为三个空间卷积率不 同的空洞卷积层一、 空洞卷积层二及空洞卷积层三； 将两个支路叠加后， 对特征图三先用反 卷积进行分辨率复原再进行两倍的线性插值上采样， 输出最终的骨骼关节点信息， 然后再 与帕金森症患者的经典发病姿态进 行对比， 如果相似度大于0.5则启动计时器， 若 下一张特 征图的相似度还是 大于0.5则继续计时， 若 小于0.5则停止计时。 5.根据权利要求1或4所述基于人体姿态估计的帕金森症预警方法， 其特征在于， 所述 注意力残差模块的输入为： V∈RH×W×C 其中RH×W×C为特征图二， H是图片高， W是图片宽， C是图片的通道； 经过降维卷积层、 空洞 卷积层、 升维卷积层后， 学习到的权 重为： V'∈RH×W×C权　利　要　求　书 1/3 页 2 CN 114783065 A 2设学习的残差映射 为b∈R1×1×C/r， 所述注意力残差模块的输出为 则有： 其中C为输入的维度， r为降维的倍数， *表示空间上 下文中的按元 素相乘。 6.根据权利要求4所述基于人体姿态估计的帕金森症预警方法， 其特征在于， 支路二中 的空洞卷积有一个空洞 卷积率， 记作d， 表示在卷积核中填充d ‑1个0； 所述空洞 卷积的卷积 核大小为： n＝k+(k‑1)*(d‑1) 其中n为等效卷积核的尺寸， k代 表实际卷积核尺寸。 7.根据权利要求1所述基于人体姿态估计的帕金森症预警方法， 其特征在于， 所述特征 图三宽度获取 方式为： 其中W为新的宽度， w 为初始的宽度， p为 填充的个数， s为 步长。 8.根据权利要求1所述基于人体姿态估计的帕金森症预警方法， 其特征在于， 所述更新 门zt获取方式为： zt＝σ(sum[Wz·yt‑1， Wz·xt])+bf 其中， Wz是更新门的权重矩阵， yt‑1表示上一时刻GRU网络输出值， bf是更新门的偏置项， σ 是sigmo id函数， xt表示图像数据样本在t时刻的数据； 所述重置门rt获取方式为： rt＝σ(sum[ [Wr·yt‑1， Wr·xr]])+br 其中， Wr是重置门的权重矩阵， yt‑1表示上一时刻GRU网络输出值， br是重置门的偏置项， σ 是sigmo id函数； 所述候选隐藏层 获取方式为： 其中， 是候选隐藏层 的权重矩阵， 是候选隐藏层 的偏置项； 所述分类概 率分数ht获取方式为： 9.根据权利要求8所述基于人体姿态估计的帕金森症预警方法， 其特征在于， 将人体骨 骼关节点和内在时间相关性的特性分别送入到下式函数中， 所 得结果进行加权求和： 权　利　要　求　书 2/3 页 3 CN 114783065 A 3