(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210606376.1 (22)申请日 2022.05.31 (71)申请人 合肥工业大 学 地址 230000 安徽省合肥市包河区屯溪路 193号 (72)发明人 李小红　代雪松　齐美彬　庄硕　 郝世杰　蒋建国　张晶晶　李世龙　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 常虹 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/762(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于反事实注 意力学习的行人再识别方法、 系统、 介质 (57)摘要 本发明公开了一种基于反事实注意力学习 的行人再识别方法和系统、 计算机存储介质。 其 中行人再识别方法通过比较事实， 即学习的注意 力， 和反事实， 即虚假的注意力， 对最终预测的影 响来量化注 意力的质量。 并通过最大化差异以促 进网络学习更有效的视觉注意力并减少有偏训 练集的影 响， 以此来增强目标域行人图像的判别 性特征学习解决目标域行人图像存在遮挡和背 景杂波问题。 权利要求书4页 说明书12页 附图1页 CN 114882534 A 2022.08.09 CN 114882534 A 1.一种基于反事实注意力学习的行 人再识别方法， 其特 征在于， 包括 步骤： S1、 建立教师模型和学生模型， 所述教师模型和学生模型的结构相同； 所述教师模型的 输入为行人图像， 结构包括主干网络和分类器， 其中主干网络用于提取行人图像的特征， 分 类器用于根据行 人图像的特 征获取行人图像的类别概 率； 采用源域数据集对教师模型进行预训练， 所述预训练的目标为最小化分类损 失函数， 所述分类损失函数 为： 其中p(ys,n∣ xs,n)表示将输入图像xs,n识别为类ys,n的概率， ys,n是源域数据集中xs,n的类 别标签， N 为预训练过程中每 个批次样本的数量； 将学生模型的参数初始化 为预训练后教师模型的参数； S2、 将目标域数据集中的图像输入教师模型， 所述教师模型主干网络输出目标域图像 的特征； 对目标域图像的特征进 行聚类， 根据聚类后的类别生成目标域图像的伪标签， 每个 聚类中心的特征向量拼接为目标域聚类中心矩阵 其中Pt为目标域图像特征聚 类后的类别数， c,h,w分别为教师模型主干网络提取到的特 征的维度、 高度、 宽度； S3、 将源域数据集中的图像输入教师模型， 所述教师模型主干网络输出源域图像的特 征； 依照源域图像的真实身份标签， 对提取到的属于同一身份的源域图像特征向量取平均 得到该行人身份的类中心向量， 每个类中心的特征向量拼接为源域类中心矩阵 其中Ps为源域数据的真实行 人身份类别数； Rt和Rs拼接为参考中心矩阵 S4、 令教师模型的参数保持不变， 采用迭代训练优化学生模型的参数； 迭代训练优化的 目标为最小化损失函数， 具体的训练中每个批次的样本包括Nt个目标域图像和Ns个源域图 像； 损失函数Ltotal为目标分类损失Lclass和注意力度量损失 之和； 具体步骤为： S4.1A、 计算目标分类损失Lclass： 其中 为目标域图像xi的伪标签， 为学生模型将输入 图像xi识别为类 的概 率； S4.2A、 计算源域图像zv注意力对预测的影响值， v＝1,2, …,Ns： 将zv输入学生模型 得到zv的第一特 征fv， fv∈Rc×h×w； 利用空间注意力模块 提取fv的注意力特 征图Fv： Fv＝{Fv,1,Fv,2,...,Fv,m,...Fv,M}＝attention(fv)         (4) 其中attention( ·)表示空间注意力模块提取注意力 特征图运算， Fv,m∈Rh×w为注意力 特征图Fv中第m个感兴趣区域的注意力特 征图， M为感兴趣区域的数量； 利用Fv,m对第一特征fv进行加权， 并采用全局平均池化操作进行聚合， 得到局部注意力 Zv,m： Zv,m＝GAP(fv*Fv,m)； 其中GAP表示全局平均池化操作；权　利　要　求　书 1/4 页 2 CN 114882534 A 2将局部注意力组合 起来并归一 化， 得到源域图像zv的全局特 征Zv： Zv＝normalize([Zv,1,Zv,2,...,Zv,m,...,Zv,M])             (5) 其中normalize表示归一 化运算； 将全局特征Zv依次输入批归一化层和分类层， 得到源域图像zv经空间注意力加权后的 预测结果： Yv＝C(BN(Zv))                   (6) 生成反注意力特征图 所述反注意力特征图 的尺寸与Fv相同， 其每个元素值为随 机数； 采用反注意力特征图 对fv进行加权， 并经全局平均池化操作、 组合并归一化、 依次输 入批归一 化层和分类层， 得到源域图像zv经反空间注意力加权后的预测结果 注意力对预测的影响值 为： S4.3A、 计算注意力度量损失： ys,v是源域图像zv的类别标签； p(ys,v∣Yveffect)为将注意力对预测的影响值为Yveffect的 图像识别为类ys,v的概率； S5、 对教师模型的参数进行加权平均更新； 迭代训练优化结束后， 根据学生模型的参数对教师模型的参数进行加权平均更新； 将 目标域图像输入更新后的教师模型， 分类器输出类别概率， 选择类别概率最大值对应的类 别作为输入图像的识别结果。 2.根据权利要求1所述的基于反事实注意力学习的行人再识别方法， 其特征在于， 所述 教师模型的主干网络包括依次连接的第一卷积模块、 第一池化模块、 第一注意力模块、 第二 卷积模块、 第二注意力模块、 第三卷积模块、 第三注意力模块、 第四卷积模块、 第四注意力模 块、 第五卷积模块、 第五注意力模块、 第二池化模块。 3.根据权利要求2所述的基于反事实注意力学习的行人再识别方法， 其特征在于， 所述 第一注意力模块、 第二注意力模块、 第三注意力模块、 第四注意力模块、 第 五注意力模块的 结构相同， 包括级联的2D卷积层和激活单 元。 4.根据权利要求1所述的基于反事实注意力学习的行人再识别方法， 其特征在于， 通过 计算教师模型和学生模型输出差异 来计算不确定性， 从而得到目标域图像伪标签的可信度 或可靠性， 并利用该可信度或可靠性对损失函数进 行加权， 具体地， 所述加权后的目标分类 损失计算 步骤为： S4.1B、 计算目标域图像xi的不确定性ui， i＝1,2,…,Nt： 将xi输入学生模型， 所述学生模型的主干网络 输出xi的第一特 征fi； 计算第一特征fi与参考中心矩阵R的相似度， 作为xi的第一软多标签Li： Li＝Softmax (R·fi)； 将xi输入教师模型， 所述教师模型的主干网络 输出xi的第二特 征 计算第二特征 与参考中心矩阵R的 相似度 ， 作为xi的 第二软多标签 权　利　要　求　书 2/4 页 3 CN 114882534 A 3