(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210651384.8 (22)申请日 2022.06.10 (71)申请人 西安工业大 学 地址 710032 陕西省西安市未央区学府中 路2号 (72)发明人 惠燕　吴玺　胡秀华　尤世界　 胡旭洋　赵婧　刘焕　 (74)专利代理 机构 西安新思维专利商标事务所 有限公司 61 114 专利代理师 黄秦芳 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/40(2022.01) G06V 10/762(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于位置注意力和精化聚类的无监督跨域 行人重识别方法 (57)摘要 本发明为一种基于位置注意力和精化聚类 的无监督跨域行人重识别方法， 其克服了现有技 术中存在的对聚类产生的伪标签噪声和特征辨 别性不足的问题。 本发明包括以下步骤： ( 1)以 ResNet50网络为基础， 将位置注意力模 块加入到 layer1层之前和layer4层之后； 在模型深度卷积 开始之前， 利用位置注意力块关注样本的位置信 息， 进行初步的特征提取； 在模型提取完特征之 后， 再利用位置注意力块进行特征挖掘， 提取更 加细粒度的特征； (2)利用精细化聚类算法模块， 剔除噪声干扰样本， 实现由粗到精的聚类过程； (3)引入记忆模块， 将每个周期训练所得的类中 心存储到记忆模块中。 权利要求书2页 说明书8页 附图1页 CN 115205893 A 2022.10.18 CN 115205893 A 1.一种基于位置注意力和精化聚类的无监督跨域行人重识别系统， 其特征在于： 包括 骨干网络模块、 位置注意力模块、 聚类算法模块和记 忆模块； 其中： 骨干网络模块： 利用ResNet5 0提取图像的初始特 征； 位置注意力模块： 提取更加细粒度的特征， 其位置是在ResNet50的layer1之前和 layer4层之后加入位置注意力； 聚类算法模块： 聚类产生伪标签， 采用精细化聚类的方法克服噪声对 模型的影响； 记忆模块： 将每 个周期训练所 得的类中心存 储到记忆模块中便 于后续的训练。 2.一种采用权利要求1所述的基于位置注意力和精化 聚类的无监督跨域行人重识别系 统的识别方法， 其特 征在于： 包括以下步骤 (1)以ResNet50网络为基础， 将位置注意力模块加入到layer1层之前和layer4层之后； 在模型深度卷积开始之前， 利用位置注意力块关注样本的位置信息， 进 行初步的特征提取； 在模型提取完特 征之后， 再利用位置注意力块进行 特征挖掘， 提取 更加细粒度的特 征； (2)利用精细化聚类算法模块， 剔除噪声干扰样本， 实现由粗到精的聚类过程； (3)引入记 忆模块， 将每 个周期训练所 得的类中心存 储到记忆模块中。 3.根据权利要求2所述的基于位置注意力和精化 聚类的无监督跨域行人重识别系统的 识别方法， 其特 征在于： 步骤(1)中， 将位置注意力模块加入到骨干网络中， 提取更加细粒度的特征， 包括坐标 信息嵌入和坐标信息生成两 部分； 具体包括以下步骤： 给定输入的X， 首先使用尺寸为(H,1)或(1,W)的池化核分别沿着水平坐标和垂直坐标 对每个通道进行编码； 高度为h的第c通道的输出表示 为: 其中 表示在高度为h的第c通道的输出； 同样宽度为w高度为h的第c通道的输出 表示为: 其中 表示在宽度为 w的第c通道的输出； 接着将沿着水平和垂直两个方向的特征图拼接在一起， 之后将它们送入1 ×1卷积中， 生成中间特 征图m， 其表示 为： m＝ δ(F([Zh,Zw]))    (3) 其中[， ]表示串联操作， δ是一个非线性激活函数， F为1*1的卷积变化函数； 然后将空间 维度分成两个独立的张量， 利用另外两个1 ×1卷积将两个独立张量进行变化， 得到两个与 输入X通道数相同的张量； gh＝sigmoid(Fh(mh))     (4) gw＝sigmoid(Fw(mw))     (5) 其中sigmo id()表示sigmo id激活函数。 最后， 注意 块Y的输出表示 为： Y(i,j)＝x(i,j) ×gh×gw    (6) 4.根据权利要求2所述的基于位置注意力和精化 聚类的无监督跨域行人重识别系统的权　利　要　求　书 1/2 页 2 CN 115205893 A 2识别方法， 其特 征在于： 步骤(2)中， 精细化聚类算法具体包括以下步骤： 首先利用位置注意力所提特征Y(i,j)， 计算Jaccard进行初步聚类， 并产生伪标签； 在 聚类的过程中， 通过设置不同的聚类半径， 以产生三个聚类中心相同半径不同的聚类， 通过 对三个不同聚类作交叉 ‑合并， 得到它的独立性分数， 利用所得分数进行可靠性度量， 判定 聚类实例可靠性； 度量聚类 独立性的方法通过交叉 ‑合并(IoU)分数进行定义： 其中I(fit)表示同一fit簇内的样本， Iloose(fit)是当聚类条件变 得松散时包含fit的聚类 集， Itight(fit)当聚类条件变得紧凑时包含fit的聚类集； Rindep(fit)越大， 表明集群的fit越独 立， 其中Rindep(fti)的值介于 0到1之间； 在每个周期前进行聚类， 并根据聚类可靠性度量进行聚类的筛选， 将独立性分数介于0 到1之间的聚类视为可靠聚类， 其余视为不可靠聚类； 仅保留可靠的聚类， 其余样本均视作 聚类离群值； 离群值在后续过程中继续聚类， 直至产生可靠聚类； 随着迭代 次数的增加， 逐 步依据可靠性判定准则， 筛选不可靠聚类， 实现由粗到细的聚类过程； 将可靠聚类的中心 点 存入记忆模块进行后续训练。 5.根据权利要求2所述的基于位置注意力和精化 聚类的无监督跨域行人重识别系统的 识别方法， 其特 征在于： 步骤(3)中， 引入记 忆模块具体包括以下步骤： 首先是记忆模块的初始化， 将每一个聚类被视为一个类， 使用每个聚类的平均特征来 初始化类级存 储体K[i]， 具体表示 为： 其中Ik表示包含特征实例xi的可靠聚类， |.|表示该聚类的特征数， vi表示目标域特征 实例； 接着进行模块更新， 根据第k个聚类中的所有实例， 在每个周期内不断更新， 构造一个 记忆模块的存储器来存储聚类的中心 点； 在每次聚类完成时， 对其进 行更新， 将可靠聚类的 中心点馈入到模块中； K[i]←β K[i]+(1 ‑β )vi     (9) 其中β ∈[0,1]是 更新速率。 记忆模块进行特征存储， 让目标域样本即使在聚类和非聚类离群值不断变化的情况下 能够持续更新。权　利　要　求　书 2/2 页 3 CN 115205893 A 3