(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210647040.X (22)申请日 2022.06.09 (71)申请人 中移 （杭州） 信息技 术有限公司 地址 311100 浙江省杭州市余杭区五常街 道余杭塘路16 00号A01号楼 申请人 中国移动通信集团有限公司 (72)发明人 季双双　孟希羲　姜伟刚　周彬涵　 伍新爽　 (74)专利代理 机构 深圳市世纪恒程知识产权代 理事务所 4 4287 专利代理师 林川靖 (51)Int.Cl. G06F 16/738(2019.01) G06F 16/75(2019.01) G06F 16/783(2019.01)G06K 9/62(2022.01) G06V 10/762(2022.01) G06V 10/77(2022.01) G06V 20/40(2022.01) G06V 40/16(2022.01) (54)发明名称 多视频摘要生成方法、 系统、 设备及存储介 质 (57)摘要 本申请公开了一种多视频摘要生 成方法、 系 统、 设备及存储介质， 所述多视频摘要生成方法 包括： 获取视频图像； 确定所述视频图像中包含 目标人脸的第一视频帧集合， 以及所述第一视频 帧集合的人脸识别率； 重组所述第一视频帧集 合， 得到视频帧片段， 并基于 所述人脸识别率， 对 所述视频帧片段进行聚类， 得到视频摘要。 本申 请属于视频图像处理领域， 针对多视频数据集， 本申请结合人脸识别， 以人为主要目标， 根据聚 类算法， 具有多样性和代表性的视频摘要， 减少 人工干预工作量， 有助于视频检索和视频监控， 提高了视频的视 觉信息聚类效果。 权利要求书2页 说明书9页 附图2页 CN 114880519 A 2022.08.09 CN 114880519 A 1.一种多视频摘要生成方法， 其特 征在于， 所述多视频摘要生成方法包括： 获取视频图像； 确定所述视频图像中包含目标人脸的第 一视频帧集合， 以及所述第 一视频帧集合的人 脸识别率； 重组所述第 一视频帧集合， 得到视频帧片段， 并基于所述人脸识别率， 对所述视频帧片 段进行聚类， 得到 视频摘要。 2.如权利要求1所述的多视频摘要生成方法， 其特征在于， 所述基于所述人脸识别率， 对所述视频帧片段进行聚类， 得到 视频摘要的步骤， 包括： 确定所述视频帧片段的第一特 征向量； 将所述第一特 征向量与所述人脸识别率进行 结合， 得到第二特 征向量； 对所述第二特 征向量进行聚类， 得到所述视频摘要。 3.如权利要求2所述的多视频摘要生成方法， 其特征在于， 所述确定所述视频帧片段的 第一特征向量的步骤， 包括： 对所述视频帧片段进行 特征提取， 得到第三特 征向量； 降低所述第三特 征向量的空间维度， 得到所述视频帧片段的第一特 征向量。 4.如权利要求2所述的多视频摘要生成方法， 其特征在于， 所述对所述第 二特征向量进 行聚类， 得到所述视频摘要的步骤， 包括： 基于所述第二特 征向量， 建立向量矩阵； 将所述向量矩阵输入至预设加权模糊聚类的目标函数， 基于所述目标函数， 选取所述 第二特征向量中的所述视频摘要。 5.如权利要求1所述的多视频摘要生成方法， 其特征在于， 所述确定所述视频图像 中包 含目标人脸的第一视频帧集 合的步骤， 包括： 对所述视频图像进行 人脸检测， 得到所述视频图像中包 含人脸的第二视频帧集 合； 提取所述第 二视频帧集合的人脸特征， 并将所述人脸特征分别与预设目标人脸特征库 进行对比， 得到所述第二视频帧集 合中每个视频帧的人脸识别率； 基于所述第 二视频帧集合中每个视频帧的人脸识别率， 筛选得到所述包含目标人脸的 第一视频帧集 合。 6.如权利要求5所述的多视频摘要生成方法， 其特征在于， 所述基于所述第 二视频帧集 合中每个视频帧的人脸识别率， 筛选得到所述包含目标人脸的第一视频帧集合的步骤， 包 括： 分别判断所述第二视频帧集合中每个视频帧的人脸识别率是否超过预设人脸识别 阈 值； 输出超过所述预设人脸识别阈值的视频帧， 并合并所述超过所述预设人脸识别阈值的 视频帧， 得到所述包 含目标人脸的第一视频帧集 合。 7.如权利要求5所述的多视频摘要生成方法， 其特征在于， 所述视频图像至少包含两 个， 所述对所述视频图像进行人脸检测， 得到所述视频图像中包含人脸的第二视频帧集合 的步骤， 包括： 将所述至少两个视频图像分别分配至对应的分析节点进行 人脸检测； 所述分析节点对每一所述视频图像的视频帧进行人脸检测， 输出包含人脸的视频帧，权　利　要　求　书 1/2 页 2 CN 114880519 A 2并合并所述包 含人脸的视频帧， 得到所述第二视频帧集 合。 8.一种多视频摘要生成系统， 其特 征在于， 所述多视频摘要生成系统包括： 获取模块， 用于获取视频图像； 确定模块， 用于确定所述视频图像中包含目标人脸的第一视频帧集合， 以及所述第一 视频帧集 合的人脸识别率； 聚类模块， 用于重组所述第一视频帧集合， 得到视频帧片段， 并基于所述人脸识别率， 对所述视频帧片段进行聚类， 得到 视频摘要。 9.一种多视频摘要生成设备， 其特征在于， 所述多视频摘要生成设备包括： 存储器、 处 理器以及存 储在存储器上的用于实现所述多视频摘要生成方法的程序， 所述存储器用于存 储实现多视频摘要生成方法的程序； 所述处理器用于执行实现所述多视频摘要生成方法的程序， 以实现如权利要求1至7中 任一项所述多视频摘要生成方法的步骤。 10.一种存储介质， 其特征在于， 所述存储介质上存储有实现多视频摘要生成方法的程 序， 所述实现多视频摘要生 成方法的程序被处理器执行以实现如权利要求 1至7中任一项 所 述多视频摘要生成方法的步骤。权　利　要　求　书 2/2 页 3 CN 114880519 A 3