(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210802369.9 (22)申请日 2022.07.07 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 杨路　郭政阳　袁双杰　 (74)专利代理 机构 成都禾创知家知识产权代理 有限公司 51284 专利代理师 刘凯 (51)Int.Cl. A61B 5/11(2006.01) G06V 10/25(2022.01) G06V 10/762(2022.01) (54)发明名称 一种基于摄像头的心肺复苏按压动作评估 方法与系统 (57)摘要 本发明公开了一种基于摄像头的心肺复苏 按压动作评估方法与系统， 包括以下步骤： 设计 心肺复苏按压动作评估体系； 设计基于关键点的 心肺复苏按压动作序列识别算法； 设计基于按压 动作的心肺复苏评估算法； 以及构建基于摄像头 的心肺复苏按压动作评估系统。 本发 明解决了目 前多人姿态估计算法在心肺复苏场景上存在的 重复识别问题， 成功将心肺复苏实施 者和被抢 救 者的骨骼点分离， 排除了被抢救者的关键点干 扰， 提高了关键点的精度； 在安卓系统上开发心 肺复苏按压动作评估系统， 有利于病人的第一目 击者在黄 金四分钟内对病人实施心肺复苏， 提高 心肺复苏的成功率。 权利要求书4页 说明书13页 附图6页 CN 115227234 A 2022.10.25 CN 115227234 A 1.一种基于摄 像头的心 肺复苏按压动作评估方法， 其特 征在于， 包括以下步骤： 步骤1： 设计心 肺复苏按压动作评估体系 对按压频率、 按压幅度和按压放松比三项指标进行量化和等级的划分， 构建客观的按 压动作评估体系， 再根据按压动作的各个指标位于体系中的等级进行打分， 得到这三项指 标各自的分数， 并根据重要程度对其赋予不同的权 重， 加权平均的得到最终分数； 步骤2： 设计 基于关键点的心 肺复苏按压动作序列识别算法 构建一个对称空间变换网络， 将其部署于单人姿态估计网络的前后， 然后设置一个平 行的单人姿态估计网络， 用于优化空间变换网络； 然后使用非极大值抑制和基于K ‑means的 关键点优化 算法将心 肺复苏实施者和按压者的关键点分离， 以消除动作冗余； 步骤3： 设计 基于按压动作的心 肺复苏评估算法 在得到经过优化处理 的关键点数据后， 提取出腕部、 肘部和肩部的关键点， 通过按压者 的身体比例计算出实际臂长， 通过腕部、 肘部和肩部的关键点计算出视频中的臂长， 通过其 比值得到视频中按压幅度和实际按压幅度的比例； 然后提取出动作序列中腕部 关键点的极 大极小值， 计算出按压频率、 按压幅度和按压放松比三个评估指标， 再根据评估体系对其进 行评估并进行打 分。 2.根据权利要求1所述的基于摄像头的心肺复苏按压动作评估方法， 其特征在于， 所述 步骤1中， 设置满分为 100分， 共设置的5个分数段， 得到这三项指标各自的分数后， 通过加权 平均得到最终分数的公式如下： W＝0.4*w1+0.4*w2+0.2*w3 其中， W表示总分数， w1表示频率得分， w2表示平均振幅得分， w3表示按压放松比得分， 三 种得分分别以权 重0.4、 0.4、 0.2相加， 总分超过6 0即可算本次心 肺复苏有效。 3.根据权利要求1所述的基于摄像头的心肺复苏按压动作评估方法， 其特征在于， 所述 步骤2具体包括： 步骤2.1： 通过人体检测器得到人体区域， 然后将人体区域图像输入STN+SPPE模块， 检 测出人体姿态， 并输入平行的单 人姿态估计网络， 提高姿态估计的效果 对称空间变换网络包括空间变换网络和空间反变换网络结构； 空间变换网络自动选取 感兴趣的区域， 如下式所示： 其中， θ1、 θ2和 θ3是二维向量， {xis,yis}和{xit,yit}分别表示 转换前后像素点的坐标； 单人姿态估计网络处理结束时， 姿态被映射到人体区域， 空间反变换网络将其反映射 回原坐标， 如下式所示： 其中， γ1、 γ2、 γ3分别为逆仿射变换系数； 已知空间反变换网络是空间变换网络的反向结构， 则得以下关系：权　利　要　求　书 1/4 页 2 CN 115227234 A 2[γ1 γ2]＝[ θ1 θ2]‑1 γ3＝‑1×[γ1 γ2]θ3 通过在空间反变换网络中反向传播， 被分解为下式： 其中， J(W,b)表示STN网络的输出； θ表示仿射变换系数； 对人体区域使用单 人姿态估计网络算法进行姿态估计， 得到高质量的关键点； 步骤2.2： 得到姿态关键点数据后， 将其输入P P‑NMS模块处 理， 解决人体冗余问题； 采用AlphaPose算法提出新的距离度量， 如下式所示： f(Pi,Pj|Λ, η )＝1[d(Pi,Pj|Λ, η )≤ η] 其中， η表示消除标准的阈值， Λ表示函数d的一个参数集合； Pi和Pj分别表示第i个和第 j个姿势； 如果d小于阈值 η， 那么f(Pi,Pj|Λ, η )的输出就是1， 表示姿态为冗余姿态， 需要被消除； 在姿态距离上， 定义 一个软匹配函数如下式所示： 其中， 表示第i个姿势的识别框； σ1表示姿态距离系数； 和 分别表示第i个 姿势和第j个姿势的置信度分数； 表示第j个姿势的识别框中心； 使用双曲正切函数将置信度比较低的姿势筛选出来， 有且仅有两个姿势都是高置信度 姿势时， 函数输出才为1； 而空间距离如下： 其中， σ2表示空间距离系数； 表示第i个部位的位置； 因此定义 最终距离为： d(Pi,Pj|\Λ)＝KSim(Pi,Pj|σ1)+λHSim(Pi,Pj|σ2) 其中， λ位权 重系数， 代 表两种距离度量重要性 不同； 步骤2.3： 通过 K均值聚类处 理， 解决重复识别的问题 学习分布P( δB|atom(P) )， 其中atom(P)表示P的原子姿势， 由K均值聚类算法得到； 使用基于K ‑means的关键点优化算法， 对姿态估计模块输出的姿态估计图中的人体骨 骼关键点进行聚类和分析， 从而达 到消除重复识别的目的； 设定聚类的类簇数量 k为2， 采用欧氏距离公式来计算空间距离， 根据下式进行计算：权　利　要　求　书 2/4 页 3 CN 115227234 A 3