(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211388890.9 (22)申请日 2022.11.08 (71)申请人 苏州浪潮智能科技有限公司 地址 215100 江苏省苏州市吴中经济开发 区郭巷街道官浦路1号9幢 (72)发明人 李仁刚　王立　范宝余　郭振华　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 赵怡琳 (51)Int.Cl. G06F 16/332(2019.01) G06F 16/335(2019.01) G06F 16/783(2019.01) G06F 40/126(2020.01) G06F 40/205(2020.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种文本与视频的互检方法、 装置、 设备及 存储介质 (57)摘要 本发明公开了一种文本与视频的互检方法、 装置、 设备及存储介质， 属于 数据检索领域， 用于 对文本以及视频数据的互检。 为了挖掘文本中特 征较为复杂的第一文本信息及其包括的第二文 本信息的特征， 本申请可以通过异质图神经网络 对待检测的文本中第一文本信息以及第二文本 信息进行编码， 然后利用异质图神经网络中各文 本信息对应节点间的连接关系对各节点的节点 特征进行更新， 然后结合时序信息将各个经过第 二文本信息更新后的第一文本信息对应的节点 特征聚合为第一目标特征向量， 通过该第一目标 特征向量进行对应视频的检索， 本申请能够快速 准确确定 出文本信息的特征向量， 因此有利于提 升文本与视频的互检的效率以及精度。 权利要求书3页 说明书16页 附图4页 CN 115438169 A 2022.12.06 CN 115438169 A 1.一种文本与视频的互检方法， 其特 征在于， 包括： 通过异质图神经网络对待检测的文本 中的第一文本信 息以及第 二文本信 息进行编码， 所述第一文本信息包括第二文本信息； 根据所述异质图神经网络 中各文本信 息对应节点间的连接关系， 对所述异质图神经网 络中各个文本信息对应节点的节点特 征进行更新； 基于所述第一文本信息的时序信息将多个第一文本信息对应的节点特征聚合为第一 目标特征向量； 将预设数据库中与所述第一目标特征向量相似度最高的特征数据对应的视频作为目 标视频。 2.根据权利要求1所述的文本与视频的互检方法， 其特征在于， 所述待检测的文本还包 括用于概括所述待检测的文本的第三文本信息； 所述基于所述第一文本信息的时序信息将 多个第一文本信息对应的节点特征聚合为第一目标特征向量之后， 所述将预设数据库中与 所述第一目标特征向量相似度最高的特征数据对应的视频作为目标视频之前， 该文本与视 频的互检方法还 包括： 将所述第三文本信 息对应的节点特征融合至所述第 一目标特征向量， 以得到融合后的 所述第一目标 特征向量。 3.根据权利要求2所述的文本与视频的互检方法， 其特征在于， 所述通过异质图神经网 络对待检测的文本中第一文本信息以及第二文本信息进行编码具体为： 通过异质图神经网络确定出待检测的文本中第一文本信息对应的节点以及第二文本 信息对应的节点； 提取出每个所述第一文本信息以及所述第二文本信息对应节点的节点特 征； 在每个所述第一文本信息对应节点与该第一文本信息所包含的各个所述第二文本信 息对应节点间建立连接关系。 4.根据权利要求3所述的文本与视频的互检方法， 其特征在于， 所述根据 所述异质图神 经网络中各文本信息对应节点间的连接 关系， 对所述异质图神经网络中各个文本信息对应 节点的节点特 征进行更新具体为： 基于所述异质图神经网络 中各文本信 息对应节点间的连接关系， 通过图注意力网络对 所述异质图神经网络中各个文本信息对应节点的节点特 征进行更新。 5.根据权利要求4所述的文本与视频的互检方法， 其特征在于， 所述基于所述第 一文本 信息的时序信息将多个第一文本信息对应的节点特 征聚合为第一目标 特征向量具体为： 基于所述第一文本信息的时序信息， 通过BiLSTM双向长短期记忆神经网络将多个第一 文本信息对应的节点特 征聚合为第一目标 特征向量。 6.根据权利要求1所述的文本与视频的互检方法， 其特征在于， 应用于预训练 的视频文 本检索网络； 其中， 所述视频文本检索网络通过 预设的视频文本距离度量 函数进行训练； 所述视频文本距离度量 函数为：权　利　要　求　书 1/3 页 2 CN 115438169 A 2其中， b为批次编号， TriHard为三项损失函数， 代表对第b批次求损失函数， n表 示与锚点样本不配对的样本组， 为对应样本 的真实标签， 为对应样本 的真实标 签， N为在本训练批次中共有N个成对的样本， 其中， 为遍历第二目标特征向量过程中 选中的视频图像组对应的第二目标特征向量， a代表锚点样本， 与锚点样本成对的第一目标 特征向量记为 ， p代表位置， 同理， 为在本训练批次中与 不配对的第一目标特 征向量， 为超参数， 代表遍历第一目标特征向量过程中选中的第一目标特征向量， 与 其对应的第二目标 特征向量记为 ， 不对应的记为 ， 是超参数。 7.根据权利要求1至6任一项所述的文本与视频的互检方法， 其特征在于， 该文本与视 频的互检方法还 包括： 通过预设的混合特 征编码方法获取待检测视频中各帧图像的混合特 征； 根据每帧图像的所述混合特征将所述待检测视频分段并确定出每一视频片段的关键 帧； 通过第一预设类型神经网络提取由所述关键帧组成的关键帧序列对应的特征向量， 并 将其作为第二目标 特征向量； 将所述预设数据库中与所述第二目标特征向量相似度最高的特征数据对应的文本作 为目标文本； 其中， 所述混合特 征包括图像在原 始图像空间以及语义空间中的特 征。 8.根据权利要求7所述的文本与视频的互检方法， 其特征在于， 所述通过预设的混合特 征编码方法获取待检测视频中各帧图像的混合特 征具体为： 分别将待检测视频中各帧图像转换为多个指定尺度； 将每帧图像在原始图像空间中各 个所述指定尺度对应的图像特 征进行拼接， 得到每帧图像的图像拼接特 征； 通过第二预设神经网络提取 所述检测视频中各帧图像在语义空间中的语义级别特 征； 将每帧图像对应的所述图像拼接特征以及所述语义级别特征进行拼接， 得到每帧图像 的混合特 征。 9.根据权利要求8所述的文本与视频的互检方法， 其特征在于， 所述根据每帧图像的所 述混合特 征将所述待检测视频分段并确定出每一视频片段的关键帧具体为： 根据相邻帧图像的所述混合特征以及预设的相似度检测函数， 计算每组相邻帧的相似 度； 在数值小于预设阈值的所述相似度对应的位置分割所述待检测视频， 以便将所述待检 测视频划分为多个视频片段；权　利　要　求　书 2/3 页 3 CN 115438169 A 3