(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210246604.9 (22)申请日 2022.03.14 (71)申请人 宁波大学 地址 315021 浙江省宁波市江北区风 华路 818号宁波大 学 (72)发明人 余晓婷　郭立君　张荣　 (74)专利代理 机构 宁波甬致专利代理有限公司 33228 专利代理师 袁波 (51)Int.Cl. G06V 40/10(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/764(2022.01)G06V 10/762(2022.01) G06V 10/82(2022.01) (54)发明名称 基于自标签精炼深度学习模型的无监督行 人重识别方法 (57)摘要 本发明提供了基于自标签精炼深度学习模 型的无监督行人重识别方法， 涉及行人重识别技 术领域， 本方法包括步骤： S1： 获取不带标签的行 人图片数据集 其中N表示数据集中 图片的数量， xi表示数据 集中第i张行人图片， 将 每张图片的尺 寸调整为相同高度和宽度， 并进行 预处理； S2： 构建自标签精炼深度学习模型， 将预 处理的训练数据输入网络， 提取图片样本的多粒 度特征； 其中， 多粒度特征包括全局特征、 上半身 特征和下半身特征。 本方法能够通过局部特征对 伪标签进行更正， 从而缓解因跨视角造成的同个 行人的图片上的差异， 并提高网络对噪声标签的 鲁棒性。 权利要求书2页 说明书8页 附图3页 CN 114648779 A 2022.06.21 CN 114648779 A 1.基于自标签精炼深度学习模型的无监 督行人重识别方法， 其特 征在于， 包括 步骤： S1： 获取不带标签的行人图片数据集 其中N表示数据集中图片的数量， xi 表示数据集中第i张行 人图片， 将每张图片的尺寸调整为相同高度和宽度， 并进行 预处理； S2： 构建自标签精炼深度 学习模型， 将预处理的训练数据输入 网络， 提取图片样本的多 粒度特征； 其中， 多粒度特 征包括全局特 征、 上半身特 征和下半身特 征； S3： 对提取的多粒度特 征进行聚类， 得到全局伪标签， 上半身伪标签和下半身伪标签； S4： 根据聚类结果构建记 忆模块， 计算 一致性矩阵并修 正全局伪标签； S5： 通过计算总损失， 梯度回传更新网络参数， 动量更新记忆模块参数， 保存网络的最 优参数。 2.根据权利要求1所述的基于自标签精炼深度学习模型的无监督行人重识别方法， 其 特征在于， 所述预处 理包括水平翻转、 补零 填充、 标准 化和随机擦除四种方式。 3.根据权利要求2所述的基于自标签精炼深度学习模型的无监督行人重识别方法， 其 特征在于， 所述自标签精炼深度学习模型由特 征提取器， 记 忆模块和自标签精炼模块组成； 所述特征提取器结构包括两部分， 所述特征提取器的第一部分采用ResNet50架构的前 四个阶段； 所述特征提取器的第二部分在第一部分后分为两个分支， 分别为全局分支和局 部分支， 对所述全局分支得到的特征图采用Generalize ‑mean Pooling进行池化， 其中参数 p＝2， 池化后特征图大小为2048 ×1×1； 对所述局部分支得到的特征图采用Generalize ‑ mean Pooling池化， 参数p＝2， 池化后的特征图大小为2048 ×2×1， 并对特征图进行水平条 划分， 得到两个大小均为2048 ×1×1的局部特征图； 对所述局 部分支得到的特征图通道进 行缩减， 采用256个1 ×1的卷积核对两个2048 ×1×1的局部特征图分别进行卷积， 对 得到结 果进行Batch  Normalize和ReLU， 所述局部分支得到两个局部特征图大小为256 ×1×1和 256×1×1； 对所述全局分支和所述局部 分支得到的特征图进 行维度剪裁， 得到一个维度为 2048×1的全局特 征和两个25 6×1的局部特 征。 4.根据权利要求3所述的基于自标签精炼深度学习模型的无监督行人重识别方法， 其 特征在于， 所述ResNet5 0架构包括五个阶段， 分别为： 第一阶段： 卷积操作的卷积核数目为64， 卷积核大小为7 ×7， 补零参数的值为3， 步长为 2； Batch Normalize和ReLU激活； 最大池化操作的核大小为3 ×3， 补零参数值为1， 步长为2； 第二个阶段包括 三个Bottleneck； 第三个阶段包括四个Bot tleneck； 第四个阶段包括六个Bot tleneck 第五个阶段包括 三个Bottleneck。 5.根据权利要求4所述的基于自标签精炼深度学习模型的无监督行人重识别方法， 其 特征在于， 所述全局分支的结构和所述ResNet50架构的第五个阶段相同， 包括三个 Bottleneck， 不同的是第一个Bottleneck的第二个卷积操作的步长为1； 其中， 下采样操作 中卷积步长为1。 6.根据权利要求4所述的基于自标签精炼深度学习模型的无监督行人重识别方法， 其 特征在于， 所述局部分支的结构和所述ResNet50架构的第五个阶段相同， 包括三个 Bottleneck， 不同的是第一个Bottleneck中所有卷积步长均为1； 其中， 下采样操作中卷积权　利　要　求　书 1/2 页 2 CN 114648779 A 2步长为1， 其 他两个Bot tleneck中的所有卷积步长为1， 且取消下采样 操作。 7.根据权利要求4所述的基于自标签精炼深度学习模型的无监督行人重识别方法， 其 特征在于， 所述将预 处理的训练数据输入网络为数据集中的所有 行人图片均输入到所述特 征提取器中， 得到特 征集 其中 分别表示图片xi的全局特征， 上半身 特征和下半身特 征。 8.根据权利要求4所述的基于自标签精炼深度学习模型的无监督行人重识别方法， 其 特征在于， 所述 步骤S4包括： S41： 对所有图片的全局特 征计算两 两之间的Jac card距离， 得到N ×N维的距离矩阵； S42： 结合得到 的距离矩阵， 采用DBSCAN进行聚类， 对一个簇中的样本赋予相同的伪标 签， 对聚类产生的离群点， 赋予其 最近的簇的伪标签； S43： 对局部特征， 包括上半身特征和下半身特征， 分别计算Jaccard距离矩阵， 并采用 DBSCAN进行各自聚类操作， 对离群点同样采取分配最近簇伪标签的方式， 分别得到各自的 伪标签。 9.根据权利要求1所述的基于自标签精炼深度学习模型的无监督行人重识别方法， 其 特征在于， 所述计算一致性矩阵为： 将全局伪标签为i的样本集合记为Ig(i)， 其中i∈[1， Zg]， 将上半身伪标签为j， 下半身伪标签为k的样本集合记为Iup(j)和Ilow(k)， 其中j∈[1， Zup]， k∈[1， Zlow]， Zup和Zlow分别是上半身和下半身聚类得到的类别数； 所述修正全局伪标签为给定一个样本xi， 得到它的one ‑hot全局伪 标签 上半身特征 和下半身特征 结合得到的一致性矩阵和记忆模块， 计算传递的局部标签置信度， 更 正全局伪标签； 将训练样本数据随机平均分成多个batch， 每个batch中包含P个类别， 每个类别有K张 图片， 一个batch有P ×K张图片样本； 一个样本xi包括三个特征， 分别为全局特征 上半身 特征 和下半身特征 还包括三个标签， 分别为全局伪标签 上半身伪标签 和下 半身伪标签 对样本的全局伪标签进行修 正， 得到修 正后的标签为 10.根据权利要求9所述的基于自标签精炼深度 学习模型的无监督行人重识别方法， 其 特征在于， 所述记忆模块更新方式为 即对j类的代理由b atch 中属于j类的困难正样 本特征进 行更新， μ为动量更新系数， 其中， μ＝0.2； 重复步骤4和步骤 5， 将数据集训练一次， 即运行了一个epoch； 一个epoch结束后， 继续开始运行步骤2和步骤 3； 运行num_epoc h次， 其中， num_epoc h＝50。权　利　要　求　书 2/2 页 3 CN 114648779 A 3