(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210734314.9 (22)申请日 2022.06.27 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 街道八一路2 99号 (72)发明人 杨文　贺钰洁　张妍　余淮　余磊　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 王琪 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/60(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种利用光照引导和注意力机制的目标检 测方法和系统 (57)摘要 本发明提供一种利用光照引导和注意力机 制的可见光红外图像目标检测方法和系统， 所述 方法和系统利用深度卷积神经骨干网络提取可 见光和红外图像的图像特征， 并引入模态间差分 交互注意力模块以及模态内注 意力模块， 分别对 模态间特征和模态内特征进行增强， 其中， 模态 间差分交互注意力模块通过放大模态间差异以 增强网络对模态互补特征的提取， 模态内注意力 模块为每个模态预测目标掩膜并将其作为注意 力以增强模态内特征。 同时引入光照引导的光照 感知网络模块， 利用光照信息为不同模态自适应 地分配权值， 将模态权重引入到掩膜预测损失函 数中， 调整两个模态对损失函数的贡献， 让网络 更加关注难 学习的样本， 以达到高精度的目标检 测。 权利要求书3页 说明书9页 附图5页 CN 115131640 A 2022.09.30 CN 115131640 A 1.一种利用光照引导和注意力机制的目标检测方法， 其特 征在于： 步骤1： 将可见光图像与红外 图像对分别输入到两路结构相同的深度卷积神经骨干网 络中以提取图像特 征， 两路网络不共享 参数； 步骤2： 将提取的可见光图像特征和 红外图像特征输入到模态间差分交互注意力模块 中， 得到差异部分被增强的可 见光图像特 征及红外图像特 征； 步骤3： 将步骤1提取的可见光图像特征和红外图像特征分别输入到模态内注意力模块 中， 预测目标掩膜， 并利用掩膜作为注意力以增强模态内特征， 得到模态内特征被增强的可 见光图像特 征及红外图像特 征； 步骤4： 对可 见光图像下采样， 并输入至光照感知网络中预测两个模态特 征的权重； 步骤5： 利用步骤4获得的权重， 将步骤2和步骤3获得的增 强后的可见光 图像特征和红 外图像特征进行融合得到融合特征， 将所述融合特征送入检测网络， 获取输入图像中感兴 趣目标的位置信息， 完成目标检测模型的训练； 步骤6： 将待测图像输入到训练好的所述目标检测模型， 得到目标检测结果。 2.根据权利要求1所述的方法， 其特征在于： 所述步骤3还包括模态内注意力模块的训 练， 使其能够正确地预测目标的掩膜,损失函数为 其中， T为样本总数， S为特征金字塔阶 段的数量， Y代表掩膜标签， Yij是第i个输入样本在特征金字塔第j个阶段对应的掩膜标签， MRij和MTij分别代表可见光分支和红外分支第i个输入样本在特征金字塔第j个阶段预测出 的目标掩膜， WR和WT为可见光模态和红外模态的权重， 为dice损 失的计算公式， s代 表平滑系数。 3.根据权利要求1所述的方法， 其特征在于： 所述步骤4还包括光照感知网络的训练， 使 其根据输入可见光图像的特征计算图像中的场景是白天还是黑夜的概率， 光照感知网络的 训练中损失函数为 其中， T为样本总 数， yi表示第 i张输入图像的分类标签， pi为第i张输入图像预测为白天的概 率。 4.根据权利要 求1所述的方法， 其特征在于： 所述步骤5包括将步骤 4获得的模态 权重WR, WT， 将步骤2和步骤3获得的增强后的可见光特征 和红外特征 进行重新 组合、 加权并级联， 获得融合特 征 送入之后的检测网络D( ·)， 获得第i个锚框的类别置信度pi与预测回归值li为(pi,li)＝D(FF)， 其中CONCAT( ·)代表通 道级联， 分别代表逐元素求和、 相乘。 5.根据权利要 求1所述的方法， 其特征在于： 所述步骤2包括将提取的可见光图像特征FR 和红外图像特征FT输入到模态间差分交互注意力模块Minter(·)中， 将可见光图像特征FR和 红外图像特征FT的差异部分放大， 以增强网络模型对互补特征的提取， 得到差异部分被增 强的可见光图像特 征 及红外图像特 征 即 权　利　要　求　书 1/3 页 2 CN 115131640 A 2其中， 为差分特征， 代表残差模块， σ( ·)代表tanh激活函数， GAP (·)代表全局平均池化， 分别代表逐元素相减、 求和与相乘。 6.一种利用光照引导和注意力机制的目标检测系统， 其特 征在于： 所述系统包括： 提取模块： 将可见光图像与红外图像对分别输入到两路结构相同的深度 卷积神经骨干 网络中以提取图像特 征， 两路网络不共享 参数； 模态间差分交互注意力模块： 将提取的可见光图像特征和红外图像特征输入到模态间 差分交互注意力模块中， 得到 差异部分被增强的可 见光图像特 征及红外图像特 征； 模态内注意力模块： 将提取的可见光图像特征和红外图像特征分别输入到模态内注意 力模块中， 预测目标掩膜， 并利用掩膜作为注意力以增强模态内特征， 得到模态内特征被增 强的可见光图像特 征及红外图像特 征； 光照感知模块： 对可见光图像下采样， 并输入至光照感知网络中预测两个模态特征的 权重； 融合模块： 利用光照感知模块获得的权重， 将模态间差分交互注意力模块和模态内注 意力模块 获得的增强后的可见光图像特征和红外图像特征进 行重新组合、 加权并级联得到 融合特征， 将所述融合特征送入检测网络， 获取输入图像中感兴趣目标的类别置信度和位 置信息， 完成目标检测模型的训练； 目标检测模块： 将待测图像输入到训练好的所述目标检测模型， 得到目标检测结果。 7.根据权利要求6所述的系统， 其特征在于： 所述模态内注意力模块还包括模态内注意 力模块的训练， 使其能够正确地预测目标的掩膜,损失函数为 其中， T为样本总数， S为特征金字塔阶 段的数量， Y代表掩膜标签， Yij是第i个输入样本在特征金字塔第j个阶段对应的掩膜标签， MRij和MTij分别代表可见光分支和红外分支第i个输入样本在特征金字塔第j个阶段预测出 的目标掩膜， WR和WT为可见光模态和红外模态的权重， 为dice损 失的计算公式， s代 表平滑系数。 8.根据权利要求6所述的系统， 其特征在于： 所述光照感知模块还包括光照感知网络的 训练， 使其根据输入可见光图像的特征计算图像中的场景是白天还是黑夜的概率， 光照 感 知网络的训练中损失函数为 其中， T为样本总数， yi表示第i张输入图像的分类标签， pi为第i张输入图像预测为白天的概 率。 9.根据权利要求6所述的系统， 其特征在于： 所述融合模块包括将获得的模态权重WR, WT， 将模态间差分交互注意力模块和模态内注意力模块获得的增强后的可见光特征 和红 外特 征 进行 重 新组 合 、加权并 级联 ， 获 得融 合 特 征权　利　要　求　书 2/3 页 3 CN 115131640 A 3