(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210502081.X (22)申请日 2022.05.09 (71)申请人 南京信息 工程大学 地址 210044 江苏省南京市浦口区宁六路 219号 (72)发明人 孙亚杰　孙莹莹　曹小玲　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 陈月菊 (51)Int.Cl. G06V 20/54(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/25(2022.01) G06V 10/46(2022.01)G06V 10/74(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多损失联合学习的车辆重识别方 法 (57)摘要 本发明提出一种基于多损失联合学习的车 辆重识别方法， 包括： 采用ResNet50网络模型提 取得到车辆图像样本中的车辆关键特征； 将提取 得到的车辆关键特征映射到特征空间中， 车辆图 像样本在特征空间中的距离用于反映图像之间 的相关性； 对丢失网络不断训练和学习， 使具有 相同ID的车辆样本在特征空间中形成聚类； 利用 BN层对生成的全局特征进行归一化处理； 使用批 量困难三重损失函数Lt、 ID损失函数LID和圆损失 函数Lc来对特征向量进行联合学习。 本发明能够 解决传统的三元组损失的弱约束性， 以及具有不 同ID但属于同一型号的相似车辆难以区分的技 术问题。 权利要求书2页 说明书7页 附图2页 CN 115049989 A 2022.09.13 CN 115049989 A 1.一种基于多损失联合学习的车辆重识别方法， 其特征在于， 所述车辆重识别方法包 括以下步骤： S1， 对导入的车辆交通图像进行预处理， 从中裁剪得到相同尺寸的车辆图像， 对裁剪后 的车辆图像进行随机擦除， 得到车辆图像样本； 构建车辆重识别模型， 车辆重识别模型包括ResNet50网络模型、 丢失网络、 BN层和全连 接层； S2， 采用ResNet5 0网络模型提取 得到车辆图像样本中的车辆关键特 征； S3， 将提取得到的车辆关键特征映射到特征空间中， 车辆 图像样本在特征空间中的距 离用于反映图像之间的相关性； 对丢失网络不断训练和学习， 使具有相同ID的车辆样本在 特征空间中形成聚类； 其中， 通过在随机生成的小批量样本里选择具有相同颜色的不同款 式的车辆样本， 作为困难三元组； 采用三元组损失学习相似性度量， 最小化正样本对之 间的 距离， 同时最大化负 样本对之间的距离； 计算得到相应的批量困难三重损失Lt； S4， 利用BN层对生成 的全局特征进行归一化和纬度约减处理， 提取得到车辆特征fi， 将 车辆特征fi送入全连接层； S5， 使用困难 三重损失函数Lt、 ID损失函数LID和圆损失函数Lc来对特征向量进行联合学 习， 增强车辆重识别模型对相似样 本的鉴别能力， 扩大不同类型车辆的特征差异， 提取更具 区分和更高判别力的全局特征； ID损失函数用于对输入具有相同ID或者不同ID的车辆图像 样本的特 征向量进行 学习； 圆损失函数用于学习类别区分性信息； S6， 采用测试集对车辆 重识别模型进行测试。 2.根据权利要求1所述的基于多损失联合学习的车辆重识别方法， 其特征在于， 所述车 辆重识别方法还 包括以下步骤： S7， 将待识别的车辆图像导入车辆 重识别模型， 提取 得到相应的特 征向量； 将待识别的车辆图像的特征向量与有效地理区域内的视频图像的车辆的特征向量进 行对比， 利用相似度计算公式， 搜索出相似度最高的车辆目标图像， 输出最终识别结果。 3.根据权利要求1所述的基于多损失联合学习的车辆重识别方法， 其特征在于， 步骤S1 中， 对导入的车辆交通图像进 行预处理， 从 中裁剪得到相同尺寸的车辆图像， 对裁剪后的车 辆图像进行随机擦除， 得到车辆图像样本的过程包括以下步骤： S11， 对车辆图像进行几何变换、 水平翻转、 镜像源处 理使数据更加多样化； S12， 从整幅图像中将车辆 部分裁剪成相同尺寸并提取； S13， 对提取的车辆图像进行随机擦除， 针对不同的epoch， 在原始图像中去除一个预先 定义范围的矩形块。 4.根据权利要求1所述的基于多损失联合学习的车辆重识别方法， 其特征在于， 步骤S2 中， 采用ResNet50网络模型提取得到车辆图像样本中的车辆关键特征的过程包括以下步 骤： S21， 加载ResNet5 0网络模型， 使用该网络模型的参数作为初始参数来进行训练； S22， 采用训练完成的ResNet5 0网络模型提取 得到车辆的关键特 征。 5.根据权利要求1所述的基于多损失联合学习的车辆重识别方法， 其特征在于， 步骤S3 中， 采用广义平均池将ResNet5 0网络模型生成的特 征聚合成全局特 征。 6.根据权利要求1所述的基于多损失联合学习的车辆重识别方法， 其特征在于， 步骤S3权　利　要　求　书 1/2 页 2 CN 115049989 A 2中， 根据下述公式计算车辆图像样本对之间的欧式距离： 式中， d(x,y)是指两个样本对特征向量之间的欧式距离， x和y分别指两个样本对提取 的特征向量， num是特征向量中元素的个数， k是特征向量中的每个元素索引， xk和yk分别是 两个样本的特 征向量中索引为 k的元素的值。 7.根据权利要求1所述的基于多损失联合学习的车辆重识别方法， 其特征在于， 步骤S3 中， 批量困难三重损失Lt的公式如下： Lt＝(da,p+A‑da,n)+ 式中， (·)+是铰链函数， A是添加的一个边际， 是正负样本之间的欧式距 离间隔， d(a,n) 是锚点Xa和类Xn的距离， da,p是锚点Xa和类Xp的距离， 满足d(a,n)<d(a,p)。 8.根据权利要求1所述的基于多损失联合学习的车辆重识别方法， 其特征在于， 步骤S5 中， ID损失指输入是一对车辆图x1和x2； y表示两辆车的图像是否属于同一个 ID， 如果y＝1表 示两辆车属于同一标签， 称其 为正样本； y＝0表示汽车来自不同的ID， 称其 为负样本； 所述ID损失函数的公式如下： 式中， 表示两次特征提取后对输入图像计算的欧氏距离， N为每一个batch的车辆 总样本数量， y表示样本的标签， 正类为1， 负类为0， f(·)为特征提取 器， β 表示第β 个特征索引， n表示特征数量， margin是设置的阈值参数， 用来度量正负样 本特 征向量之间的距离 差值的程度。 9.根据权利要求1所述的基于多损失联合学习的车辆重识别方法， 其特征在于， 步骤S5 中， 圆损失用于学习类别区分性信息， 即最大化类内相似度和最小化类间相似度； 假设与样本空间x相关的类 内相似度分数有K个， 类间相似度分数有L个， 则圆损失 目标 函数的公式如下: 其中， Sn和SP分别为关于样本空间x的类间相似度和类内相似度， 其采用余弦相似度来 计算类内和类间相似度分数； 和 为非负整数， 分别是 和 的权重， Δn和Δp分别为类 间和类内间隔， 且 满足 和 γ为尺度因子 。 10.根据权利要求1所述的基于多损失联合学习的车辆重识别方法， 其特征在于， 所述 车辆重识别网络的总损失函数Lall表示为： Lall＝LID+a′Lt+b′Lc 其中， a′和b′分别为困难三重损失和圆损失的权值。权　利　要　求　书 2/2 页 3 CN 115049989 A 3