(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211025357.6 (22)申请日 2022.08.25 (71)申请人 杭州当虹科技股份有限公司 地址 310000 浙江省杭州市西湖区西斗门 路3号天堂软件园E幢16层A座 (72)发明人 赵浩　陈梅丽　谢亚光　祁伟　 (74)专利代理 机构 浙江英普律师事务所 3 3238 专利代理师 刘芬豪 (51)Int.Cl. G06T 5/50(2006.01) G06T 3/00(2006.01) G06T 7/194(2017.01) H04N 5/232(2006.01) (54)发明名称 增强镜头抖动场景下背景质 量优化鲁棒性 的数据增强方法 (57)摘要 本发明公开了一种增强镜头抖动场景下背 景质量优化鲁棒性的数据增强方法， 包括： S10， 得到背景序列<b gr>以及前景序列及掩膜序列< fgr， pha>； S20， 从背景序列<bgr>中随机选取一 帧bgr1， 当bgr1无其他有相关性的背景帧时， 则 直接对bgr1作图像仿射变换， 得到bgr2； 当bgr1 在<bgr>中具有相关性帧时， 则首先在具有相关 性的所有序列中随机选择一帧， 再执行仿射变换 操作， 得到bgr2； 得到背景对<bgr1， bgr2>； S30， 进行前后景序列组合； S40， 对 参考背景序列gtbgr 进行训练数据增广变换， 得到训练数据对<lq， gtbgr， gt>； S50， 训练输入序列lq和参考背景序列 gtbgr经过背景质量优化模块的处理后得到背景 增强后的融合序列 S60， 经过大量数据多次迭 代训练得到的参数θ用于提高融合序列 的质 量指标。 权利要求书2页 说明书5页 附图2页 CN 115439381 A 2022.12.06 CN 115439381 A 1.一种增强镜 头抖动场景 下背景质量优化鲁棒 性的数据增强方法， 其特 征在于， 包括： S10， 获取包括前景区域的视频帧或图片(fgr)和对应的掩模(pha)， 以及高质量的背景 视频帧或图片(bgr)， 经过前后景序列及掩膜获取， 得到背景序列<bgr>以及前景序列及掩 膜序列<fgr， pha>； S20， 从背景序列 <bgr>中随机选取一帧bgr1， 根据bgr1在<bgr>中寻找具有相关性的其 他背景帧， 当bgr1无其他有相关性的背景 帧时， 则直接对bgr1作图像仿射变换， 得到bgr2； 当bgr1在<bgr>中具有相关性帧时， 则首先在具有相关性的所有序列中随机选择一帧， 再执 行仿射变换操作， 得到bgr 2； 得到背景对<bgr1， bgr 2>； S30， 进行前后景序列组合， 输入数据包括<fgr， pha>和<bgr1， bgr2>， 若前景不需要存 在于参考背景帧中， 只需要一份<fgr， pha>， 组合得到基准图像序列gtsrc与参考背景序列 gtbgr； 若前景存在于参考背景帧中， 在<fgr， pha>中选择两份具有前景相关性的前景序列< fgr1， pha1， fgr 2， pha2>， 再 经过组合得到得到基准图像序列gtsrc与参考背景序列gtbgr； S40， 对参 考背景序列gtbgr进行训练数据增广变换， 得到训练数据对<lq， gtbgr， gt>； S50， 训练输入序列lq和参考背景序列gtbgr经过背景质量优化模块的处理后得到背景 增强后的融合序列 S60， 将融合序列 和对应的基准图像序列gt之间的最小化重建损失函数 作 为目标函数， 通过梯度下降法找到背景质量优化模块的最优参数θ； 在训练过程中， 经过大 量数据多次迭代训练得到的参数θ用于提高 融合序列 的质量指标； S70， 优化后的背 景质量提升模块得到的融合序列 为背景增强序列Y输出， 作为视频流 输出。 2.如权利要求1所述的增强镜头抖动场景下背景质量优化鲁棒性的数据增强方法， 其 特征在于， S20中， 所述仿射变换包括裁剪、 翻转、 缩放、 拉伸、 旋转、 平移、 色彩变换和对比度 增强中的至少一种。 3.如权利要求1所述的增强镜头抖动场景下背景质量优化鲁棒性的数据增强方法， 其 特征在于， S30中， 若前景不需要存在于参考背景帧中， 只需要一份<fgr， pha>， 组合得到基 准图像序列gtsrc与参考背景序列gtbgr的组合公式如下： gtsrc＝fgr*pha+bgr1*(1 ‑pha) gtbgr＝bgr2。 4.如权利要求3所述的增强镜头抖动场景下背景质量优化鲁棒性的数据增强方法， 其 特征在于， S5 0中， 得到基准序列gt的方式为： gt＝lq*pha+gtsrc*(1‑pha)。 5.如权利要求1所述的增强镜头抖动场景下背景质量优化鲁棒性的数据增强方法， 其 特征在于， S30中， 若前景存在于参考背景 帧中， 在<fgr， ， pha>中选择两份具有前景相关性 的前景序列<fgr1， pha1， fgr2， pha2>， 再经过组合得到得到基准图像序列gtsrc与参考背景 序列gtbgr的组合公式如下： gtsrc＝fgr2*pha2+bgr 2*(1‑pha2) gtbgr＝fgr1*pha1+bgr1*(1 ‑pha1)。 6.如权利要求3所述的增强镜头抖动场景下背景质量优化鲁棒性的数据增强方法， 其权　利　要　求　书 1/2 页 2 CN 115439381 A 2特征在于， S5 0中， 得到基准序列gt的方式为： 7.如权利要求1所述的增强镜头抖动场景下背景质量优化鲁棒性的数据增强方法， 其 特征在于， S40中， 数据增广变换使用多级串联， 每级的操作称为T(x)， 依次执行模糊操作、 缩放操作、 加噪操作和压缩操作， k代表模糊核， 表示卷积操作， r代表缩放比例， n代表加 入的噪声， JPEG代 表进行压缩， 具体公式如下： 最终的Transform s是由n个T(x)级联， n至少两个以上， 公式如下： Transform s＝(Tn·Tn‑1…T1)(x)。权　利　要　求　书 2/2 页 3 CN 115439381 A 3