(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210174151.3 (22)申请日 2022.02.24 (71)申请人 宁波深擎信息科技有限公司 地址 315000 浙江省宁波市镇海区福业 街 55号 申请人 上海深擎信息科技有限公司 (72)发明人 吴一男　丑晓慧　 (74)专利代理 机构 长沙国科天河知识产权代理 有限公司 432 25 专利代理师 段盼姣 (51)Int.Cl. G06F 16/783(2019.01) G06F 16/75(2019.01) G06V 20/40(2022.01) G06F 40/30(2020.01)G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 视频素材打标方法、 装置、 设备和介质 (57)摘要 本申请涉及视频素材打标方法、 装置、 设备 和介质， 方法包括： 获取待处理的视频素材； 基于 关键帧提取算法对视频素材进行关键帧提取处 理， 得到视频素材的关键帧； 关键帧提取算法包 括基于感知哈希算法或关键帧提取神经网络算 法； 通过图片标注算法对提取的关键帧进行文本 标注， 生成关键帧对应的描述文本； 对描述文本 进行分词处理， 提取关键帧对应的主题词； 对所 有的主题词进行去重处理， 得到视频素材的视频 视觉内容标签。 相比于传统技术， 上述方案生成 的标签不是闭合集合中的元素， 而是基于视频的 视觉内容的开放语义标签， 也即通过生成视觉内 容的语义文本描述， 最终输出开放的标签体系， 实现泛化 性能的显著提升效果。 权利要求书2页 说明书8页 附图6页 CN 114547375 A 2022.05.27 CN 114547375 A 1.一种视频 素材打标方法， 其特 征在于， 包括 步骤： 获取待处 理的视频 素材； 基于关键帧提取算法对所述视频素材进行关键帧提取处理， 得到所述视频素材的关键 帧； 所述关键帧提取算法包括基于感知哈希算法或关键帧提取神经网络算法； 通过图片标注算法对提取的所述关键帧进行文本标注， 生成所述关键帧对应的描述文 本； 对所述描述文本进行分词处 理， 提取所述关键帧对应的主题词； 对所有的所述主题词进行去重处 理， 得到所述视频 素材的视频视 觉内容标签。 2.根据权利要求1所述的视频 素材打标方法， 其特 征在于， 所述方法还 包括步骤： 将所述描述文本向量编码至图文共享特征空间； 所述图文共享特征空间为所述描述文 本的向量表征与检索关键词的向量表征 所在的统一向量空间。 3.根据权利要求1或2所述的视频素材打标方法， 其特征在于， 通过图片标注算法对提 取的所述关键帧进行文本标注， 生成所述关键帧对应的描述文本的步骤， 包括： 将所述关键帧转换至词图向量空间， 得到所述关键帧对应的词图向量； 将所述词图向量 转换为所述关键帧对应的前缀； 基于所述前缀 生成所述关键帧对应的描述文本 。 4.根据权利要求3所述的视频素材打标方法， 其特征在于， 提取所述关键帧对应的主题 词的过程， 包括： 对所述描述文本进行分词处 理后， 进行词频统计并提取高频词作为所述主题词。 5.根据权利要求3所述的视频素材打标方法， 其特征在于， 所述关键帧提取算法为基于 感知哈希算法； 基于关键帧提取算法对所述视频素材进行关键帧提取处理， 得到所述视频素材的关键 帧的步骤， 包括： 将所述视频 素材转换为视频帧； 对所述视频帧进行感知哈希值计算； 利用相邻前后两个所述视频帧的感知哈希值计算哈希差异； 若所述哈希差异大于设定阈值， 则将后一个所述视频帧保存为所述关键帧。 6.根据权利要求5所述的视频素材打标方法， 其特征在于， 基于感知哈希算法对所述视 频素材进行关键帧提取处 理， 得到所述视频 素材的关键帧的步骤， 还 包括： 若所述哈希差异小于所述设定阈值， 则将后 一个所述视频帧确定为冗余帧并抽取下一 个视频帧进行感知哈希值计算。 7.根据权利要求5或6所述的视频素材打标方法， 其特征在于， 对所述视频帧进行感知 哈希值计算的步骤， 包括： 用双线性插值法将所述视频帧调整大小至9x8像素； 对尺寸调整后的所述视频帧逐行执行像素差异计算操作， 得到64位长的像素差值； 所 述像素差异计算操作为右侧像素值减相邻 左侧像素值； 对所述64位长的像素差值执行二值化处理， 得到所述视频帧的64位二进制数的感知哈 希值； 所述 二值化处理中， 若当前差值大于 0， 则记当前位 为1， 否则记当前位 为0。 8.一种视频 素材打标装置， 其特 征在于， 包括：权　利　要　求　书 1/2 页 2 CN 114547375 A 2视频获取模块， 用于获取待处 理的视频 素材； 帧提取模块， 用于基于关键帧提取算法对所述视频素材进行关键帧提取处理， 得到所 述视频素材的关键帧； 所述关键帧提取算法包括基于感知哈希算法或关键帧提取神经网络 算法； 帧描述模块， 用于通过图片标注算法对提取的所述关键帧进行文本标注， 生成所述关 键帧对应的描述文本； 主题词模块， 用于对所述描述文本进行分词处 理， 提取所述关键帧对应的主题词； 内容标签模块， 用于对所有的所述主题词进行去重处理， 得到所述视频素材的视频视 觉内容标签。 9.一种计算机设备， 包括存储器和处理器， 所述存储器存储有计算机程序， 其特征在 于， 所述处理器执行所述计算机程序时实现权利要求 1至7任一项 所述的视频素材打标方法 的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1至7任一项所述的视频 素材打标方法的步骤。权　利　要　求　书 2/2 页 3 CN 114547375 A 3