(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210647074.9 (22)申请日 2022.06.09 (71)申请人 重庆理工大 学 地址 400054 重庆市巴南区李 家沱红光大 道69号 (72)发明人 冯欣　刘妍　单玉梅　薛明龙　 (74)专利代理 机构 成都东唐智 宏专利代理事务 所(普通合伙) 51261 专利代理师 晏辉 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/22(2022.01) G06V 10/40(2022.01) G06V 10/74(2022.01)G06V 10/77(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06T 7/73(2017.01) G06T 7/66(2017.01) G06T 7/246(2017.01) G06N 3/04(2006.01) (54)发明名称 一种自动驾驶场景下联合行人目标检测与 跟踪联合方法 (57)摘要 本发明涉及目标检测与跟踪技术领域， 尤其 涉及一种自动驾驶场景下联合行人目标检测与 跟踪联合方法。 包括建立行人目标检测 网络， 获 取图像中行人目标的中心位置信息； 建立基于图 匹配网络的目标关联算法， 通过目标特征提取网 络提取的目标中心表观特征， 与目标的中心位置 信息进行融合编码并表示为节 点描述符， 然后将 两帧间检测到的行人目标作为目标节 点， 节点描 述符作为目标节点信息分别构建为目标图； 通过 图匹配网络在目标图的结构下对其中的行人目 标节点进行匹配， 获得两帧图像间的行人目标关 联矩阵。 能够很好的满足在行人密集场景下的多 目标跟踪任务需求， 提高了行人目标检测的准确 性、 实时性和行 人跟踪的稳定性、 持续 性。 权利要求书3页 说明书13页 附图4页 CN 114998993 A 2022.09.02 CN 114998993 A 1.一种自动驾驶场景下联合行人目标检测与跟踪联合方法， 其特征在于， 包括以下步 骤： S1.建立基于目标中心点的行人目标检测网络建立基于目标中心点的行人目标检测网 络， 通过将行 人目标中心点作为关键点进行检测， 获取图像中行 人目标的中心位置信息； S2.建立基于图匹配网络的目标关联算法， 将同一视频中的两帧图像It1和It2与图像中 行人目标的中心位置信息Pit1和 作为输入； 通过目标特征提取网络提取的目标中心表观特征 和 与目标的中心位置信息进 行融合编码并表示为节点描述符， 然后将两帧间检测到的行人目标作为目标节点 节点描述符作为目标节点信息分别构建为目标图Gt1和Gt2； 通过图匹配网络在目标图的结构下对其中的行人目标节点进行匹配， 获得两帧图像间 的行人目标关联矩阵。 2.根据权利要求1所述的一种自动驾驶场景下联合行人目标检测与跟踪联合方法， 其 特征在于， S1中， 所述行 人目标检测网络采用DLA ‑34作为目标检测任务的骨干网络 。 3.根据权利要求2所述的一种自动驾驶场景下联合行人目标检测与跟踪联合方法， 其 特征在于， S1中， 通过将行人目标中心 点作为关键点进 行检测， 获取图像中获取图像中行人 目标的中心位置信息， 主 要包括： 将前后两帧图像分别通过目标检测网络， 获取用于目标检测的特征图， 该特征图与原 图像大小相比分辨率为原图像大小的1/4， 该特征图上 的每个特征点都被用来进行目标中 心点的预测， 在 网络最后的目标预测头部分， 特征图分别通过三个预测分支输出目标中心 热图、 目标中心偏移和目标区域大小信息 。 4.根据权利要求3所述的一种自动驾驶场景下联合行人目标检测与跟踪联合方法， 其 特征在于， 所述行 人目标检测网络的损失函数设计方法如下： 对于行人目标中心点的类别， 使用高斯核函数 将 所 有 目 标 的 中 心 分 布 在 热 图 上 其中R/r表示目标检测网络的下采样倍数， C表示类别数； 因只针对行人目标， 因 此C＝1， (xk,yk)是目标真值 k的中心坐标， σk表示行人目标尺寸自适应标准差； 对于目标中心偏移GO和目标区域大小GS， 如果目标中心在热图的位置为(i,j)， 则： GS(i,j,:)＝(w,h) 通过使用Focal loss对非行人目标的中心点进行抑制； 目标中心点类别损失Lcls、 目标中心点位置偏移损失Loff与目标区域大小损失Lsize， 定义 如下： 权　利　要　求　书 1/3 页 2 CN 114998993 A 2其中， 代表网络预测的目标中心热图， 其中每个点的值表 示属于行人目标中心点的概 率， Y表示真实热图上该点属于目标中心点的概率， α ＝0.25代表平衡 因子； GO为真实目标 中 心偏移， 为预测的坐标偏移； 表示目标的预测长 宽， GS表示目标的真实长 宽； 行人目标检测网络的损失函数定义如下： Ldet＝Lcls+λoffLoff+λsizeLsize； 其中， λoff与 λsize分别被设置为1和0.1。 5.根据权利要求1所述的一种自动驾驶场景下联合行人目标检测与跟踪联合方法， 其 特征在于， S2中， 所述同一视频中的两帧图像为同一视频中n个连续帧中的任意两帧图像， 所述两帧图像分别输入的 的目标特征提取网络共享模型参数； 所述目标 特征提取网络的卷积神经网络为VG G‑16网络加上扩展子网络； 所述目标特征提取网络还额外分支有一卷积层： 目标特征降维层， 来缩减该综合特征 向量的维度。 6.根据权利要求1所述的一种自动驾驶场景下联合行人目标检测与跟踪联合方法， 其 特征在于， S2中， 图匹配网络包括： 目标节点编码模块， 多重图神经网络模块、 注意力聚合模块和目标匹配模块； 所述目标节点编码模块用于使用多层感知器MLP将中心位置信 息嵌入目标中心特征所 在的高维向量中； 所述多重图神经网络模块使用信 息传递公式沿无向边进行节点间信 息的聚合， 并在每 一层图神经网络上计算更新节点的表示形式； 所述注意力聚合模块用于执 行聚合并计算节点信息传递； 所述匹配模块用于将成对分数表示为特征向量的相似性来计算所有可能的匹配计算 目标关联矩阵。 7.根据权利要求6所述的一种自动驾驶场景下联合行人目标检测与跟踪联合方法， 其 特征在于， 所述图匹配网络的损失函数设计如下： 损失函数的设计考虑有： 新目标进入损失L1： 为了计算图像It1和It2之间的目标 匹配程度， 在It1和It2的相同目标之间进行一一对应， 构建其目标之间对应的标签Lt2∈RM×(N+1)， 并额外增加一列表示It1中新进入的目标； M1∈RM ×(N+1)表示目标关联矩阵At1,t2∈R(M+1)×(N+1)的前m行数据， S表示softmax操作， coeff代表对矩 阵系数进行累加使其成为 一个标量； 新目标进入损失L1计算如下： 旧目标退出损失L2： 为了计算图像It2和It1之间的目标 匹配程度， 在It2和It1的相同目标之间进行一一对应，权　利　要　求　书 2/3 页 3 CN 114998993 A 3