(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210656248.8 (22)申请日 2022.06.10 (71)申请人 兰州交通大 学 地址 730070 甘肃省兰州市安宁区安宁西 路88号 (72)发明人 王阳萍　靳芳蕊　雍玖　党建武　 杨景玉　王文润　岳彪　任鹏百　 王松　杨旭　 (74)专利代理 机构 甘肃省知识产权事务中心 代 理有限公司 6210 0 专利代理师 赵红红 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/52(2022.01) G06V 10/80(2022.01)G06V 10/762(2022.01) G06K 9/62(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于改进SSD的轻量化手势实时检测方 法 (57)摘要 本发明公开了一种基于改进SSD的轻量化手 势实时检测方法， 该检测方法以SSD为基础网络， 包括使用MobileNet  v2作为模型主干特征提取 网络， 减小模型的参数量和计算复杂度； 设计INA 多尺度卷积模块， 并应用在其中三个预测特征 层， 通过连接不同尺寸的卷积核， 增加网络对不 同尺度特征的适应性； 采用K ‑means++聚类算法 自适应生 成适合手部的候选框， 对手部进行准确 定位来提高模 型的检测精度； 在制作的手势数据 集上对改进后的SSD网络结构进行训练， 得到训 练好的手势检测模型进行手势检测。 应用本发 明， 可以有效解决手部检测模型由于模型复杂、 计算量大难以应用于移动端的问题， 并且在减小 模型大小和提高检测速度的同时保证了检测精 度， 适合人机交 互下的实时手 部检测。 权利要求书2页 说明书6页 附图4页 CN 114882536 A 2022.08.09 CN 114882536 A 1.一种基于改进S SD的轻量化手势实时检测方法， 其特 征在于， 包括以下步骤： 步骤一： 采集手势图像， 利用所述手势图像制备带有标记信 息的手势数据集， 并对制备 的手势数据集进行 数据增强。 步骤二： 采用MobileNet  V2主干特征提取网络代替VGG16主干网络， 得到使用 MobileNet V2网络改进后的S SD网络结构； 步骤三： 在使用MobileNet  V2网络改进后的SSD网络结构的三个预测特征层中采用设 计的INA多尺度模块进 行特征提取和特征融合， 获取不同尺度的特征图， 同时融合不同大小 的感受野， 得到使用I NA模块改进的S SD网络结构； 步骤四： 在使用INA模块改进的SSD网络结构基础上引入K ‑means++聚类算法对手势数 据集进行聚类， 通过学习自动生成一组更加接近手势数据集分布的候选框， 得到改进后的 SSD网络结构； 步骤五： 利用步骤一中所述手势数据集， 对所述改进后的SSD网络结构进行训练， 得到 训练好的轻量 化手势检测模型； 步骤六： 将 实时获取的手势图像或含有手势的视频输入到所述训练好的轻量化手部检 测模型中进行手势检测。 2.如权利要求1所述的一种基于改进SSD的轻量化手势实时检测方法， 其特征在于， 步 骤一中， 所述制备 带有标记信息的手势数据集， 具体包括： 采用RGB相机采集手势图像； 采用L abelImage软件对所述手势图像进行标注， 得到手势 数据集； 对所述手势数据集 通过翻转、 裁 剪以及高斯平 滑模糊进行 数据增强。 3.如权利要求1所述的一种基于改进SSD的轻量化手势实时检测方法， 其特征在于， 步 骤二中， 所述采用Mobi leNet V2主干特征提取网络代替VG G16主干网络， 具体包括： 使用MobileNet  V2进行特征提取， 采用倒残差结构进行特征的升维， 丰富特征数量， 同 时每个残差块的最后一个1x1的卷积中将Relu替换为线性激活函数。 4.如权利要求1所述的一种基于改进SSD的轻量化手势实时检测方法， 其特征在于， 步 骤三中， 所述三个预测特征层为Con8、 Con9和Con10， 所述INA多尺度模块是将上一层的特征 图分别同时输入到三个不同尺度的分支进 行处理， 再将处理完得到的三个特征图的特征信 息进行融合， 最后得到 输出特征图， 又采用ad d操作实现特 征融合。 5.如权利要求1所述的一种基于改进SSD的轻量化手势实时检测方法， 其特征在于， 步 骤四中， 所述引入K ‑means++聚类算法的过程， 具体包括： 使用K‑means++聚类获取候选框， 通过重新聚类训练集， 得到更符合手部分布的先验 点， 使用候选框与真实框交并比作为K ‑means++聚类算法中的距离度量， 并设定初始化 anchor数为5 。 6.如权利要求1 ‑5任一项所述的一种基于改进SSD的轻量化手势实时检测方法， 其特征 在于， 所述手势检测过程， 具体包括： (1)将输入图像或视频划分成S ×S的网格， 每个网格预测B个检测框并且预测这些检测 框的置信度， 每张图片有S ×S×B个检测框； (2)每个检测框都有5个预测值(W， H， X， Y， Conf)； 其中， X， Y代表检测框的中心点， W， H代 表输入图像的尺寸， Co nf代表检测框的置信度； 置信度的计算公式如下式(1)所示：权　利　要　求　书 1/2 页 2 CN 114882536 A 2式(1)中， IOU代 表预测框和真实框的交并比， 如式(2)所示； PR表示预测框的面积， GT表示真实框的面积； (3)每个网格预测地物的条件概 率为Pr(cls|object)， 为已知网格中包 含的目标； (4)检测时， 将条件概率和不同检测框置信度的预测值相乘， 得到每个检测目标的置信 度得分， 这些置信得分包含了检测框中出现手部目标的概率以及检测框和手部目标的匹配 程度； (5)通过非极大值抑制过 滤掉冗余的检测框， 得到最终的手势检测结果。权　利　要　求　书 2/2 页 3 CN 114882536 A 3