(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211430231.7 (22)申请日 2022.11.16 (71)申请人 吉林大学 地址 130012 吉林省长 春市南关区人民大 街5988号吉林大 学南岭校区 (72)发明人 丁同强　佟强　孙健　王汝鑫　 席建锋　郑黎黎　张连欣　刘梓伟　 李铸鹏　董龙威　袁蕾　张克鑫　 李敏　冯婷　 (74)专利代理 机构 吉林省长 春市新时代 专利商 标代理有限公司 2 2204 专利代理师 邱宇 (51)Int.Cl. G06V 40/16(2022.01) G06V 20/59(2022.01)G06V 10/82(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) B60W 50/08(2020.01) B60W 40/08(2012.01) (54)发明名称 一种基于兴奋分析的车辆驾驶参数控制方 法及系统 (57)摘要 本发明属于驾驶人情绪识别技术和道路车 辆驾驶系统控制技术领域， 尤其涉及一种基于兴 奋分析的车辆驾驶参数控制方法及系统， 包括图 像采集模块、 图像预处理模块、 兴奋识别与分析 模块、 油门控制模块、 制动控制模块、 方向盘控制 模块和主控模块， 通过 获取驾驶人面部原始图像 构建初始样 本数据集； 对初始样 本数据集进行预 处理； 通过对预处理后增强图像的输入构建CNN ‑ LSTM模型， 输出兴奋情绪累加分值； 通过对预处 理后增强图像的学习训练CNN ‑LSTM模型， 制定兴 奋情绪的干扰区间； 根据实时更新的兴奋情绪所 处的干扰区间， 匹配相应的调整车辆驾驶参数的 方案， 调用相应的车辆控制模块调整驾驶车辆以 提高车辆的驾驶 安全性。 权利要求书4页 说明书8页 附图2页 CN 115497153 A 2022.12.20 CN 115497153 A 1.一种基于兴奋分析的车辆驾驶 参数控制方法， 其特 征在于， 包括以下步骤： 步骤S1： 获取驾驶人面部的原 始图像， 构建初始样本数据集； 步骤S2： 对初始样本数据集进行预处理， 即分别对原始图像数据进行归一化处理和增 强处理； 步骤S3： 通过对预处理后增强图像的输入构建CNN ‑LSTM模型， 以输出兴奋情绪累加分 值； 步骤S4： 通过对预处理后增强图像的学习训练CNN ‑LSTM模型， 并制定兴奋情绪的干扰 区间； 步骤S5： 根据实时更新的兴奋情绪所处的干扰区间， 匹配相应的调整车辆驾驶参数的 方案， 调用相应的车辆控制模块调整驾驶车辆 。 2.根据权利要求1所述的一种基于兴奋分析的车辆驾驶参数控制方法， 其特征在于： 步 骤S2中， 原 始图像数据归一 化处理的表达式为： x* = 式中 为原始图像数据； 原始图像数据的均值； 为原始图像数据的标准差 。 3.根据权利要求2所述的一种基于兴奋分析的车辆驾驶参数控制方法， 其特征在于， 步 骤S2中， 原 始图像数据的增强处 理包括以下步骤： 步骤A1： 采用误差扩散颜色抖动的方法实现用较低的颜色位深度来获取更为丰富的视 觉效果， 将当前 的像素误差以一定权重分配到邻近像素， 使得相邻的像素点集合整体的误 差变小； 步骤A2： 采用随机 裁剪的方法对原 始图像中的特 征区域进行裁 剪 步骤A21： 为解决后续由于裁剪区过大引起混入非特征信息的问题， 首先对原始图像 中 反应驾驶人兴奋情绪特 征的区域进行检测， 特 征区检测表达式为： Tvp = f(Tp) 式中Tvp ∈ RW×H表示为输入原 始图像的特 征区，f(·)表示特征区检测算法； 所述特征区检测性 算法f(·)最优解用矩阵表示 为： f(·) = （I‑α S）‑1y （2） 式中： I表示单位矩阵， α = ； S表示归一化的拉普拉斯矩阵， 且有S=D‑0.5WD‑0.5， 其 中D为单位矩阵， W 为相似度矩阵； 步骤A22： 在检测到的特征区中找到强度值最大的像素点 的中心点坐 标， 其中xmax(i)、 ymax(j)表示具有强度值 最大像素点的 轴、 轴坐标； 步骤A23： 在获得中心点坐标后， 生成裁剪区边界， 初始生成裁剪区的宽度与高度分别 为： rw = W 权　利　要　求　书 1/4 页 2 CN 115497153 A 2rh=H 式中W为输入原始图像的宽度； H为输入原始图像的高度； λ为从均匀分布 （0,1） 中随机 采样； 步骤A24： 为了改善裁剪区过大混入过多非特征信 息， 使得卷积神经网络识别特征计算 量变大这 一问题， 加入一个缩放因子ρ， 适当缩小裁 剪边界， 其表达式为： ρ = 1‑μ2 式中ρ 为缩放因子； μ为裁 剪区面积比率， ； 步骤A25： 对初始生成裁剪区的宽度与高度进行调整， 得到最终的裁剪区宽度与高度分 别为： rw1= ρW rh1 =ρH ； 步骤A3： 按照最终的裁 剪区宽度与高度对原 始图像进行裁 剪， 得到最终图像； 步骤A4： 将裁剪得到的最终图像放大到与原始图像大小一致， 并与经归一化处理的图 像一起输入到卷积神经网络中， 获得增强图像。 4.根据权利要求3所述的一种基于兴奋分析的车辆驾驶参数控制方法， 其特征在于， 步 骤S3中， 构建CN N‑LSTM模型的方法包括以下步骤： 步骤B1： 向卷积神经网络输入RGB三通道的像素为3 ×224×224的经过预处理后的增强 图像， 在输入图像边 缘添加4行填充， 此时输入变成具有3 ×228×228个像素点的图像； 步骤B2： 为了高效计算， 设置垂直步幅sh、 水平步幅sw， 各层输入通道数为ci， 输出通道 为co， 卷积核的形状为co×ci×kh×kw， 网络模型结构包括4个卷积层， 4个最大池化层和1个 全连接层， 具体为： 步骤B21： 第一个卷积层有64个大小为3 ×8×8的卷积核， 步长为4， 输出图像的像素为 56×56×64， 经过池化核为2 ×2， 步长为2的最大池化层， 输出图像的像素为28 ×28×64； 接下来经过128个大小为64 ×5×5的卷积核， 步长为1的卷积层， 输出图像的像素为24 ×24×128， 然后经 过池化核为3 ×3， 步长为3的最大池化层， 输出图像的像素为8 ×8×128； 对第三层输入的图像填充4行4列变成具有12 ×12×128个像素点的图像， 经过96个大 小为2×2的卷积核， 步长为1的卷积层后， 输出图像的像素为11 ×11×96， 经过池化核为2 × 2， 步长为1的最大池化层， 输出图像的像素为10 ×10×96； 对第四层输入的图像填充4行4列变为具有14 ×14×96个像素点的图像， 经过64个大小 为2×2×96的卷积核， 步长为2的卷积层后， 输出图像的像素为7 ×7×64， 用于融合前一个 卷积层的特 征图； 步骤B22： 池化层的输出被铺平并反馈到具有512个单元的全连接层， 全连接层的输出 经过LSTM网络并将t时刻的兴奋情绪分值存 储在存储器Ct中； 步骤B3： 通过控制输出门来控制内存传送的内容量来激活LSTM 网络， 运用Si gmoid函数 计算输出 门传送的内容量， 经过叠加计算t ‑1时刻的兴奋情绪阈值St‑1与t时刻的兴奋情绪权　利　要　求　书 2/4 页 3 CN 115497153 A 3