(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211506606.3 (22)申请日 2022.11.29 (71)申请人 城云科技 （中国） 有限公司 地址 310052 浙江省杭州市滨江区长河街 道江南大道588号恒 鑫大厦主楼17层、 18层 (72)发明人 毛云青　韩致远　来佳飞　王国梁　 张香伟　 (74)专利代理 机构 杭州汇和信专利代理有限公 司 33475 专利代理师 吴琰 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01)G06V 10/40(2022.01) G06N 3/04(2006.01) (54)发明名称 一种多目标识别模型及其构建方法、 装置及 应用 (57)摘要 本方案提出了一种多目标识别模型及其构 建方法、 装置及应用， 包括以下步骤： 获取训练样 本， 将所述训练样本送入所述多目标检测模型中 进行训练， 所述多目标检测模型有共享特征提取 模块、 融合特征提取模块、 识别模块组成， 所述共 享特征提取模块结合所述融合特征提取模块对 所述训练样本进行编码融合， 得到融合结果， 再 将所述融合结果与最后一层编码特征图输入到 所述识别模块， 得到所述训练样 本中待检测车辆 图像。 本方案使用较小的时间开销、 模型参数量 以及计算开销实现了端到端的目标预测， 为后续 特征比对、 车辆跟踪及重识别校验提供了数据基 础。 权利要求书3页 说明书11页 附图9页 CN 115546601 A 2022.12.30 CN 115546601 A 1.一种多目标识别模型的构建方法， 其特 征在于， 包括： 获取标记有多个待检测车辆的至少一待检测图像作为训练样本送入多目标识别模型 中进行训练； 所述多目标识别模型由共享特征提取模块、 融合特征提取模块、 识别模块组成， 所述共 享特征提取模块和所述融合特征提取模块并行设置， 所述训练样本输入到包含有多层 Transformer层依层级串联组成的共享特征提取模块中进行特征提取， 得到与每一所述 Transformer层对应的编码特 征图； 所述融合特征提取模块包括融合层和目标检测头层， 每一层级的编码特征图和上一层 级的编码拼接图进行拼接得到 当前层级的编码拼接图， 其中第一层级的编 码特征图定义为 编码拼接图， 每一层级的编 码特征图和上一层级的编 码拼接图在融合层中融合得到融合特 征， 将多个融合特征进行输出拼接得到融合特征图， 将所述融合特征图进行解码操作后输 入目标检测头层得到目标位置信息； 将所述共享特征提取模块中最后一层编码特征图与所述融合特征提取模块的目标位 置信息进行合并作输入到所述识别模块， 得到所述训练样本中的多个待检测车辆图像。 2.根据权利要求1所述的一种 多目标识别模型的构建方法， 其特征在于， 所述融合层包 括两个输入端， 其输入分别为当前层级编码特征图和上一层级的编码拼接图， 所述当前层 级编码特征图输入后经过线性拉伸与初步归一后， 再与所述编码拼接图进行二次归一， 分 别得到当前层级的所述编 码特征图的归一结果和所述编 码拼接图的归一结果， 将所述当前 层级编码特征图的归一结果和所述编码特征图的归一结果进行第一融合拼接后输入到多 组卷积结构 中， 得到卷积结果， 将所述卷积结果与所述当前层级编码特征图的归一结果输 入到多头注意力层， 分别得到编码特征图的注意力结果和卷积注意力结果， 将所述编码特 征图的注意力结果、 卷积注意力结果和当前层级编码特征图的归一结果进行第二融合拼 接， 得到第二拼接结果， 对所述第二拼接结果进 行归一化后通过前馈神经网络进 行输出， 得 到融合结果。 3.根据权利要求2所述的一种 多目标识别模型的构建方法， 其特征在于， 所述卷积结构 为池化层、 卷积层、 归一层依次串联 组成， 将所述当前层级编 码特征图的归一结果和所述编 码拼接图的归一结果进行第一融合 拼接后输入到多组卷积结构中。 4.根据权利要求1所述的一种多目标识别模型的构建方法， 其特征在于， 在 “将所述融 合特征图进行解码操作后输入目标检测头层得到目标位置信息 ”步骤中， 所述目标检测头 层为一个前馈神经网络连接一个目标检测头， 所述目标位置信息为所述训练样本中待检测 车辆目标框的位置信息 。 5.根据权利要求1所述的一种多目标识别模型的构建方法， 其特征在于， 在 “所述识别 模块得到所述训练样本中的多个待检测车辆， 并对得到的多个待检测车辆进行特征提取 ” 步骤中， 根据所述输出结果直接在所述最后一层编码特征图上进行截取， 得到所述训练样 本中的多个待检测车辆图像。 6.根据权利要求1所述的一种 多目标识别模型的构建方法， 其特征在于， 将具有时序性 的多个待测图像输入到所述多目标识别模型中， 得到每一所述待测图像的多个待检测车辆 图像， 对每一待检测车辆图像进 行特征提取， 得到每一待检测车辆图像的特征向量， 分别将 每一待检测车辆图像的特征向量与其他待检测车辆的特征向量进行比对， 得到比对结果，权　利　要　求　书 1/3 页 2 CN 115546601 A 2根据所述比对结果 来判断不同待测图像中的车辆是否为同一车辆 。 7.根据权利要求1所述的一种 多目标识别模型的构建方法， 其特征在于， 所述多目标识 别模型的训练方式为， 将所述共享特征提取模块、 融合特征提取模块、 识别模块进 行分步训 练， 首先固定识别模块的参数， 对所述多目标识别模型进行第一批训练， 再固定融合特征提 取模块的参数对所述多目标识别模型进行第二批训练， 通过所述第一批训练和所述第二批 训练完成对共享特征提取模型的训练， 之后将所述共享特征提取模块的参数和识别模块的 参数进行固定， 对所述多目标识别模型进行第三批训练， 通过所述第三批训练完成对所述 融合特征提取模块的训练， 最后将所述融合特征提取模块和所述共享特征提取模块的参数 固定， 对所述多目标识别模型进行第四批训练， 通过所述第四批训练完成所述识别模块的 训练。 8.一种多目标识别模型， 其特征在于， 使用权利要求1 ‑7任一所述的方法进行构建得 到。 9.一种多目标识别方法， 其特 征在于， 包括： 获取至少一待检测图片， 将所述待检测图片输入到所述多目标识别模型中， 所述多目 标识别模 型由共享特征提取模块、 融合特征提取模块、 识别模块组成， 所述多目标识别模型 中的共享特征提取模块的多层串联的Tr ansformer对所述待检测图片进行特征提取， 得到 与每一Transformer层对应的编码特征图， 所述融合特征提取模块对每一层级的编码特征 图和上一层级的编 码拼接图进 行拼接得到 当前层级的编 码拼接图， 其中第一层级的编 码特 征图定义为编 码拼接图， 每一层级的编 码特征图和上一层级的编 码拼接图在融合层中融合 得到融合特征， 将多个融合特征进行输出拼接得到融合特征图， 将所述融合特征图进行解 码操作后输入目标检测头层得到待检测图片中的车辆位置信息 。 10.一种多目标识别模型的构建装置， 其特 征在于， 包括： 获取模块： 获取标记有多个待检测车辆的至少一待检测图像作为训练样本送入多目标 识别模型中进行训练； 编码模块： 所述多目标识别模型由共享特征提取模块、 融合特征提取模块、 识别模块组 成， 所述共享特征提取模块和所述融合特征提取模块并行设置， 所述训练样本输入到包含 有多层Transformer层依层级串联组成的共享特征提取模块中进行特征提取， 得到与每一 所述Transformer层对应的编码特 征图； 融合模块： 所述融合特征提取模块包括融合层和目标检测头层， 每一层级的编码特征 图和上一层级的编 码拼接图进 行拼接得到 当前层级的编 码拼接图， 其中第一层级的编 码特 征图定义为编 码拼接图， 每一层级的编 码特征图和上一层级的编 码拼接图在融合层中融合 得到融合特征， 将多个融合特征进行输出拼接得到融合特征图， 将所述融合特征图进行解 码操作后输入目标检测头层得到目标位置信息； 识别模块： 将所述共享特征提取模块中最后 一层编码特征图与 所述融合特征提取模块 的目标位置信息进行合并作输入到所述识别模块， 得到所述训练样本中的多个待检测车辆 图像。 11.一种电子装置， 包括存储器与处理器， 其特征在于， 所述存储器中存储有计算机程 序， 所述处理器被设置为运行所述计算机程序以执行权利要求1到7任一所述的一种多目标 识别模型的构建方法或权利要求9所述的一种多目标识别方法。权　利　要　求　书 2/3 页 3 CN 115546601 A 3