(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210355594.2 (22)申请日 2022.04.06 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 钟立耿　朱允全　谯睿智　 (74)专利代理 机构 深圳市深佳知识产权代理事 务所(普通 合伙) 44285 专利代理师 吴欣蔚 (51)Int.Cl. G06T 5/00(2006.01) G06T 5/50(2006.01) G06T 7/269(2017.01) G06V 10/762(2022.01) G06K 9/62(2022.01) (54)发明名称 一种视频修复的方法、 相关装置、 设备以及 存储介质 (57)摘要 本申请公开了一种基于人工智能实现的视 频修复方法， 应用场景至少包括各类终端， 如： 手 机、 电脑、 车载终端等。 本申请包括： 获取视频样 本序列； 根据视频样本序列获取目标掩膜样本序 列； 根据视频样本序列获取光流数据序列； 基于 光流数据序列中的各个光流数据， 对每个目标掩 膜帧中目标掩膜区域所包括的像素点进行聚类 处理， 得到每个目标掩膜帧的光流聚类结果； 根 据每个目标掩膜帧的光流聚类结果确定光流质 量分值； 采用与光流质量分值匹配的视频修复方 式， 对待修复视频进行修复处理。 本申请还提供 了相关装置。 本申请将光流质量作为选择视频修 复方式的依据， 达到不同视频修复方式之间取长 补短的目的， 从而有利于获得修复效果更好的视 频画面。 权利要求书4页 说明书26页 附图11页 CN 115170400 A 2022.10.11 CN 115170400 A 1.一种视频修复的方法， 其特 征在于， 包括： 获取针对待修复视频的视频样本序列， 其中， 所述视频样本序列包括K个视频帧对， 每 个视频帧对 包括相邻的两个视频帧， 所述K为大于或等于1的整数； 根据所述视频样本序列获取目标掩膜样本序列， 其中， 所述目标掩膜样本序列包括K个 目标掩膜帧， 每个目标掩膜帧包括对原始掩膜区域进 行扩张后得到的目标掩膜区域， 且， 所 述每个目标掩膜帧与所述每 个视频帧对具有对应关系； 根据所述视频样本序列获取光流数据序列， 其中， 所述光流数据序列包括K个光流数 据， 且， 每 个光流数据与所述每 个视频帧对具有对应关系； 基于所述光流数据序列中的各个光流数据， 对所述每个目标掩膜帧中目标掩膜区域所 包括的像素点进行聚类处 理， 得到所述每 个目标掩膜帧的光 流聚类结果； 根据所述每 个目标掩膜帧的光 流聚类结果， 确定光 流质量分值； 采用与所述 光流质量分值匹配的视频修复方式， 对所述待修复视频进行修复处 理。 2.根据权利要求1所述的方法， 其特征在于， 所述获取针对待修复视频的视频样本序 列， 包括： 从所述待修复视频中获取视频序列， 其中， 所述视频序列包括T个原始视频帧， 每个原 始视频帧显示有目标对象， 所述T为大于1的整数； 从所述视频序列中抽取K个待处理视频帧对， 其中， 所述每个待处理视频帧对包括相邻 的两个原 始视频帧； 对所述每个待处理视频帧对中各个原始视频帧的尺寸进行归一化处理， 得到所述K个 视频帧对， 并将所述K个视频帧对作为所述视频样本序列。 3.根据权利要求1所述的方法， 其特征在于， 所述根据所述视频样本序列获取目标掩膜 样本序列， 包括： 针对所述视频样本序列中的每个视频帧对， 根据视频帧对中的前一个视频帧或后一个 视频帧获取原始掩膜帧， 其中， 所述原始掩膜帧包括对目标对 象进行掩膜处理后得到的原 始掩膜区域； 针对所述视频样本序列中的每个视频帧对， 对所述原始掩膜帧中的原始掩膜区域进行 扩张， 得到目标掩膜帧； 将所述K个目标掩膜帧作为所述目标掩膜样本序列。 4.根据权利要求3所述的方法， 其特征在于， 所述针对所述视频样本序列中的每个视频 帧对， 对所述原 始掩膜帧中的原 始掩膜区域进行扩张， 得到目标掩膜帧， 包括： 针对所述视频样本序列中的每个视频帧对， 按照第 一像素个数对所述原始掩膜帧中的 原始掩膜区域进行扩张， 得到第一掩膜区域； 针对所述视频样本序列中的每个视频帧对， 按照第 二像素个数对所述原始掩膜帧中的 原始掩膜区域进行扩张， 得到第二掩膜区域， 其中， 所述第二像素个数大于所述第一像素个 数； 针对所述视频样本序列中的每个视频帧对， 对所述第 一掩膜区域以及所述第 二掩膜区 域进行异或操作， 得到所述目标掩膜帧。 5.根据权利要求1所述的方法， 其特征在于， 所述根据所述视频样本序列获取目标掩膜 样本序列， 包括：权　利　要　求　书 1/4 页 2 CN 115170400 A 2针对所述视频样本序列中的每个视频帧对， 根据视频帧对中的前一个视频帧获取第 一 原始掩膜帧， 并根据视频帧对中的后一个视频帧获取第二原始掩膜帧， 其中， 所述第一原始 掩膜帧以及所述第二原始掩膜帧分别包括对目标对 象进行掩膜处理后得到的原始掩膜区 域； 针对所述视频样本序列中的每个视频帧对， 对所述第 一原始掩膜帧 以及所述第 二原始 掩膜帧进行并集处 理， 得到原 始掩膜帧； 针对所述视频样本序列中的每个视频帧对， 对所述原始掩膜帧中的原始掩膜区域进行 扩张， 得到目标掩膜帧； 将所述K个目标掩膜帧作为所述目标掩膜样本序列。 6.根据权利要求5所述的方法， 其特征在于， 所述针对所述视频样本序列中的每个视频 帧对， 对所述原 始掩膜帧中的原 始掩膜区域进行扩张， 得到目标掩膜帧， 包括： 针对所述视频样本序列中的每个视频帧对， 按照第 一像素个数对所述原始掩膜帧中的 原始掩膜区域进行扩张， 得到第一掩膜区域； 针对所述视频样本序列中的每个视频帧对， 按照第 二像素个数对所述原始掩膜帧中的 原始掩膜区域进行扩张， 得到第二掩膜区域， 其中， 所述第二像素个数大于所述第一像素个 数； 针对所述视频样本序列中的每个视频帧对， 对所述第 一掩膜区域以及所述第 二掩膜区 域进行异或操作， 得到所述目标掩膜帧。 7.根据权利要求1所述的方法， 其特征在于， 所述根据所述视频样本序列获取光流数据 序列， 包括： 针对所述视频样本序列中的每个视频帧对， 根据后 一个视频帧中各个像素点相对于前 一个视频帧中各个 像素点的水平偏移量以及竖直偏移量， 确定光 流数据； 将所述K个光 流数据作为所述 光流数据序列； 或， 所述根据所述视频样本序列获取光 流数据序列， 包括： 针对所述视频样本序列中的每个视频帧对， 根据 前一个视频帧中各个像素点相对于后 一个视频帧中各个 像素点的水平偏移量以及竖直偏移量， 确定光 流数据； 将所述K个光 流数据作为所述 光流数据序列。 8.根据权利要求1所述的方法， 其特征在于， 所述基于所述光流数据序列中的各个光流 数据， 对所述每个目标掩膜帧中目标掩膜 区域所包括的像素点进行聚类处理， 得到所述每 个目标掩膜帧的光 流聚类结果， 包括： 针对所述每个目标掩膜帧， 根据所述光流数据序列中对应的光流数据， 确定所述目标 掩膜区域中X个 像素点的二维光 流值， 其中， 所述X为大于1的整数； 针对所述每个目标掩膜帧， 根据所述X个像素点的二维光流值， 对所述X个像素点进行 聚类处理， 得到所述 光流聚类结果。 9.根据权利要求1至8中任一项所述的方法， 其特征在于， 所述根据所述每个目标掩膜 帧的光流聚类结果， 确定光 流质量分值， 包括： 根据所述每 个目标掩膜帧的光 流聚类结果， 确定所述每 个目标掩膜帧的总类别数量； 统计所述总类别数量小于或等于类别数量阈值的帧数；权　利　要　求　书 2/4 页 3 CN 115170400 A 3