(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210728790.X (22)申请日 2022.06.24 (71)申请人 中国计量大 学 地址 310018 浙江省杭州市学源街258号中 国计量大 学 (72)发明人 金江涛　谭爱红　高敏涵　李飞龙　 (51)Int.Cl. B66B 1/14(2006.01) B66B 1/46(2006.01) G06V 40/20(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/762(2022.01) (54)发明名称 一种基于手势识别技术的智能 电梯控制方 法及系统 (57)摘要 本发明涉及目标检测领域， 尤其是一种基于 手势识别技术的智能电梯控制方法及系统。 针对 手势识别技术中， 过于注重对目标手势的识别精 度， 忽视网络复杂度和检测速率； 在追求网络轻 量化时， 降低模型精度等问题提出以下方案： S1： 收集手势图像并对手势位置和类别进行标记， 制 作成标准数据集； S2： 利用改进yolov4网络结构 训练手势识别的模型； S3： 建立目标手势与电梯 服务请求的对应关系。 本发明将Gho stnet作为改 进后的yolov4的骨干网络， 利用三个有效特征层 替换原来yolov4骨干网络CSPdarknet53的有效 特征层进行加强特征提取网络的构建， 保证良好 检测效果的情况下， 减少模型的参数量与提高模 型的执行速度； 主干特征提取网络使用hard ‑ swish作为主 要激活函数， 提高了模型运 算速率。 权利要求书2页 说明书5页 附图3页 CN 115258848 A 2022.11.01 CN 115258848 A 1.一种基于手势识别技术的智能电梯控制方法， 其特征在于， 所述所属方法包括以下 步骤： S1： 收集手势图像并对手势位置和类别进行 标记， 制作成标准数据集。 S2： 利用改进yo lov4网络结构训练手势 识别的模型。 S3： 建立目标手势与电梯服 务请求的对应关系。 S4： 将采集到的视频流通过以帧为单位的方式输入手势识别模型， 若识别出每帧图像 数据的目标手势置信分数超过设定的阈值则将识别结果显示在原图上， 同时信号传输 设备 将识别出的手势类别传输给电梯控制设备， 电梯相应做出服 务响应。 S5： 当原图上显示出不同识别结果时， 信号传输装置将会将识别出的所有结果发送给 电梯控制装置， 电梯继而做出不同的服 务响应。 2.根据权利要求1所述的一种基于手势识别技术的智能电梯控制方法， 其特征在于， 所 述S1中， 制作标准数据集包括以下步骤： 使用图像采集装置采集具有目标手势且不同背景的照片； 使用label img软件对拍摄的照片进行打标签处 理； 将照片与标签文件按pasco l voc数据集格式排列； 划分训练所需的训练， 验证和 测试文件， 比例分别为70％， 20％， 10％。 3.根据权利要求1所述的一种基于手势识别技术的智能电梯控制方法， 其特征在于， 所 述S2中， 训练手势 识别的模型包括以下步骤： 改进yolov4网络模型， 改进过程如下： 将Ghostnet作为改进后的yolov4的骨干网络， 利用三个有效特征层替换原来yolov4骨 干网络CSPdarknet53的有效特征层进行加强特征提取网络的构建。 Ghostnet使用深度可分 离卷积获得特征浓缩的相似特征图， 保证良好检测效果的情况下， 减少模型 的参数量与提 高模型的执 行速度。 kmeans算法聚类出适合自己手势数据集的9种尺寸的锚框， 使锚框的长宽形状越接近 真实的预测框， 有效提高模型检测精度。 对于主干特 征提取网络使用hard ‑swish作为主 要激活函数， 提高了模型的运 算速率。 设置模型参数， 参数包括： 学习率(le arning rate)、 批量尺寸大小(batch  size)、 迭代次数(epoch)、 隐藏层数目 层数、 激活函数的选择、 部分损失函数的可调系数以及正则化系数。 模型训练： 在pytorch中配置好模型训练需要的虚拟环境， 并在此虚拟环境中训练改进 后的yolov4模型。 4.根据权利要求1所述的一种基于手势识别技术的智能电梯控制方法， 其特征在于， 所 述S4中得到识别结果包括以下步骤： 模型加载： 加载训练好的权值文件； 设置预测参数， 参数包括： 得到预测框的置信度分数阈值、 非极大值抑制所用到的nms_ iou值、 输入图片的大小、 是否使用Gpu； 预测： 在模型中输入待预测的图像或视频进行预测， 预测结果将保存在指定路径的文 件夹下； 实时检测时， 模型将调用摄 像头。 5.一种基于手势 识别技术的智能电梯控制系统， 其特 征在于， 所述系统包括：权　利　要　求　书 1/2 页 2 CN 115258848 A 2手势识别模型建立模块； 电梯服务模型建立模块； 手势识别模块。 6.根据权利要求5所述一种基于手势识别技术的智能电梯控制系统， 其特征在于， 所述 手势识别模型建立模块包括： 数据集制作部分， 使用图像采集装置采集具有目标手势且不同背景的照片， 使用 labelimg软件对拍摄的照片进行打标签处理， 将照片与标签文件按pascol  voc数据集排 列， 划分所需的训练， 验证和 测试文件。 模型训练部分， 搭建改进yolov4网络模型， 设置超参数， 开始模型训练， 每隔一定迭代 次数保留权值文件， 保留的模型文件可以用于图片， 实时视频流的手势检测。 7.根据权利要求5所述一种基于手势识别技术的智能电梯控制系统， 其特征在于， 所述 手势识别模块包括： 将目标手势图像输入预 先训练好的模型之中； 主干特征提取网络对手势图像进行 特征提取； 特征金字塔进行 特征融合； 头部网络利用获得到的特 征进行预测； 对预测结果进行解码， 并进行得分排序和非极大抑制筛选， 最后在图像上获得一系列 置信分数和预测框； 将筛选后的框绘制在原图上。权　利　要　求　书 2/2 页 3 CN 115258848 A 3