(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210561028.7 (22)申请日 2022.05.23 (71)申请人 中国第一汽车股份有限公司 地址 130011 吉林省长 春市汽车 经济技术 开发区新红旗大街1号 (72)发明人 刘赫　吕贵林　陈涛　孙玉洋　 (74)专利代理 机构 哈尔滨市阳光惠远知识产权 代理有限公司 2321 1 专利代理师 陈晶 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/20(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的动态手势控车系统和 方法 (57)摘要 一种基于深度学习的动态手势控车系统和 方法， 涉及深度学习技术领域， 解决了现有动态 手势识别准确率不高以及识别速度慢的问题， 可 应用于中高端汽 车控制系统。 系统包括车载终端 和云平台； 所述车载终端包括人脸识别模块、 手 势识别模块和车辆控制模块， 各个模块通过以太 网实现通信连接； 所述云平台包括身份认证模 块， 身份认证模块与所述车载终端通过ACP协议 连接。 动态手势控车方法包括： 通过高精摄像头 采集并识别到静态人脸图像， 车载通信终端将该 人脸信号通过ACP协议上传云端进行身份验证； 捕捉用户动态手势图像， 经过手势识别模块实时 分析计算出准确的手势信号； 经以太网传输到车 载计算单元进行融合处理， 发送到线控单元实现 车内外控车。 权利要求书2页 说明书6页 附图4页 CN 115063849 A 2022.09.16 CN 115063849 A 1.一种基于深度 学习的动态手势控车系统， 其特征在于， 包括车载终端和云平台； 所述 车载终端包括人脸识别模块、 手势识别模块和车辆控制模块， 各个模块通过以太网实现通 信连接； 所述云平台包括身份认证模块， 所述身份认证模块与所述车载终端通过ACP协 议连 接； 所述手势识别模块包括： 深度 可分离卷积神经网络模块、 手势动作定位模块、 损失函数 计算模块、 通道 注意力模块和动态手势数据库； 动态手势数据库用于捕捉和存储用户常用手势信 息， 通过损失函数计算模块配合手势 动作定位模块， 使 预测框更精 准拟合真实框， 通道注意力模块用于输出特征检测结果， 深度 可分离卷积神经网络模块对用户手势信息进 行深度训练， 实现快速特征提取和识别用户手 势操作。 2.根据权利要求1所述的基于深度学习的动态手势控车系统， 其特征在于， 所述人脸识 别模块包括： 级联卷积神经网络、 深度卷积神经网络、 度量模块、 归一化计算模块和损失函 数计算模块； 所述人脸识别模块将摄像头采集到的静态人脸图像， 经级联卷积神经网络提取目标人 脸的图像信息， 再经过深度卷积神经网络模块提取到人脸图像中的深度特征向量， 经度量 模块判断特征向量的相关程度， 最后通过对人脸特征数据经归一化计算模块和损失函数计 算模块计算整合出精准人脸数据， 与云端人脸数据库进行比对认证， 最终实现人脸识别的 目的。 3.根据权利要求1所述的基于深度学习的动态手势控车系统， 其特征在于， 所述深度 可 分离卷积神经网络模块利用深度卷积和1 ×1卷积进行深度融合， 所述深度可分离卷积神经 网络模块的第一步和最后一步都采用1 ×1卷积， 中间步骤利用ResNet特征融合理念对浅层 特征融合， 通过压缩通道数量减少网络参数量。 4.根据权利要求1所述的基于深度学习的动态手势控车系统， 其特征在于， 所述损失函 数计算模块用于计算检测框和真实框各自宽高比的相似性损失， 具体 计算方法为： 其中， b和b1分别表示检测框和真实框的中心点， ρ 为欧式距离， c表示检测框和真实框二者距 离最远的顶点间的距离， IoU表示b和b1的交并比， x和y分别表示检测框的宽和高， x1和y1分 别表示真实框的宽和高； 手势动作定位模块损失对传统定位算法中的边界框预测损失项进行替换， 改进后的损 失函数L由误差、 置信度误差和分类误差三部分构成： L＝Lc+Lcon+Ls， 其中，权　利　要　求　书 1/2 页 2 CN 115063849 A 2其中， s2代表网格数， B代表边界框数， 代表目标物是否落入第i个网格第j个边界框， 代表没有落入， 代表已经落入； 该网络采用13 ★13和26★26尺度特征融合， 因 此s2＝132和s2＝262， B＝2。 5.根据权利要求1所述的基于深度学习的动态手势控车系统， 其特征在于， 所述通道注 意力模块采用双通道， 经过双通道两个不同尺度的输出后添加 通道注意力模块， 通过分配 不同权重， 对两个不同尺度的特 征输出， 经非极大值抑制得 出最终的检测结果。 6.根据权利要求1所述的基于深度学习的动态手势控车系统， 其特征在于， 所述身份认 证模块为基于公钥密码体制的数字签名 认证系统， 通过车内外高精摄像头采集到人脸图 像， 图像数据预处理后 经CAN线传输到车载通信终端TBOX， 由TBOX将数据投传到云平台TSP 进行初次人脸图像存储并生成唯一识别码， 进行初次数字证书申请到认证系统PKI， 在PKI 系统中首先通过RA模块对用户的身份注册请求进 行身份核查， 然后由CA模块为用户从证书 库获取并颁 发数字证书， 进而将用户的身份信息以及用户的公钥通过数字证书的形式完成 绑定， 从而实现用户身份认证。 7.根据权利要求1所述的基于深度学习的动态手势控车系统， 其特征在于， 所述的车辆 控制模块包括车载高精摄像头、 网络通信模块、 车载计算单元和线控 单元； 车载高精摄像头 通过手势识别算法提取到准确的手势图像信号， 经通信网络模块实时传输到车载计算单 元， 对手势信号进 行过滤计算处理， 并融合其它通过传感器感知到的防碰撞信号， 统一 发送 至线控单 元实现手势对车辆的控制。 8.根据权利要求7所述的基于深度学习的动态手势控车系统， 其特征在于， 所述手势对 车辆的控制包括对车辆的外部控制和车内控制， 所述外部控制包括倒车、 刹车以及转向， 所 述车内控制包括对车内电子座椅、 车机屏幕、 车内音响以及氛围灯的控制。 9.一种基于深度学习的动态手势控车方法， 其特征在于， 应用权利要求1 ‑8中任一项所 述动态手势控车系统， 所述动态手势控车 方法包括以下步骤： S1、 通过高精摄像头采集并识别到静态人脸图像， 车载通信终端将该人脸信号通过ACP 协议上传云端 进行身份验证； S2、 身份验证通过后， 捕捉用户动态手势图像， 经过手势识别模块实时分析计算出准确 的手势信号， S3、 手势信号经以太网传输到车载计算单元进行融合处理， 然后发送到线控单元实现 车内外的控车。权　利　要　求　书 2/2 页 3 CN 115063849 A 3