(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111395579.2 (22)申请日 2021.11.23 (71)申请人 北京字节跳动网络技 术有限公司 地址 100041 北京市石景山区实兴大街3 0 号院3号楼 2层B-0035房间 (72)发明人 陈维识　 (74)专利代理 机构 北京英创嘉友知识产权代理 事务所(普通 合伙) 11447 代理人 魏嘉熹 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/30(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) H04L 9/40(2022.01) (54)发明名称 图像处理方法、 图像分类方法、 装置、 介质及 电子设备 (57)摘要 本公开涉及一种图像处理方法、 图像 分类方 法、 装置、 介质及电子设备， 所述图像处理方法包 括： 接收待处理图像； 根据待处理图像和图像处 理模型， 确定待处理图像对应的噪声 图像， 图像 处理模型包括图像特征提取子模型和噪声信息 子模型， 图像特征提取子模型用于获取待处理图 像的特征向量， 噪声信息子模型用于根据待处理 图像的特征向量确定待处理图像的噪声图像， 在 训练过程中图像处理模型还包括分类子模型， 图 像处理模型的损失是基于噪声信息子模型添加 的噪声向量和分类子模型输出的分类概率分布 确定的； 根据待处理图像和噪声 图像， 生成与待 处理图像对应的目标图像， 待处理图像与目标图 像对应的分类相同。 权利要求书2页 说明书14页 附图3页 CN 114120364 A 2022.03.01 CN 114120364 A 1.一种图像处 理方法， 其特 征在于， 所述方法包括： 接收待处 理图像； 根据所述待处理图像和图像处理模型， 确定所述待处理图像对应的噪声图像， 其中， 所 述图像处理模型包括图像特征提取子模型和噪声信息子模型， 所述图像特征提取子模型用 于获取所述待处理图像的特征向量， 所述噪声信息子模型用于根据所述待处理图像的特征 向量确定所述待处理图像的噪声图像， 在训练过程中所述图像处理模型还包括分类子模 型， 所述图像处理模型的损失是基于所述噪声信息子模型添加的噪声向量和所述分类子模 型输出的分类概 率分布确定的； 根据所述待处理图像和所述噪声图像， 生成与所述待处理图像对应的目标图像， 其中 所述待处 理图像与所述目标图像对应的分类相同。 2.根据权利要求1所述的方法， 其特 征在于， 所述图像处 理模型通过以下 方式确定： 获取训练样本， 其中， 每一所述训练样本包括样本 图像和所述样本 图像对应的标注分 类； 通过图像特征子模型确定所述样本 图像对应的特征向量序列， 其中， 所述样本 图像对 应的特征向量序列中包 含所述样本图像的多个子图像的特 征向量； 将所述特征向量序列输入所述噪声信 息子模型， 获得与每一所述子图像对应的噪声向 量； 基于所述特征向量序列和所述噪声向量融合所得的融合向量进行分类， 获得所述融合 向量的分类概 率分布； 根据所述噪声向量、 所述分类概率分布与 预设的目标分类对所述图像处理模型进行训 练。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述待处理图像和图像处理模 型， 确定所述待处 理图像对应的噪声图像， 包括： 通过图像特征子模型确定所述待处理图像对应的特征向量序列， 所述待处理图像对应 的特征向量序列中包 含所述待处 理图像的多个子图像的特 征向量； 将所述待处理图像对应的特征向量序列输入所述噪声信 息子模型， 获得与 所述待处理 图像的每一子图像对应的噪声向量， 所述噪声信息 子模型为逆卷积模型； 将所述待处理图像的每一子图像对应的噪声向量按照所述子图像的位置进行拼接， 获 得所述待处 理图像对应的噪声图像。 4.根据权利要求2或3所述的方法， 其特 征在于， 所述特 征向量序列通过以下 方式确定： 将待输入的图像进行切分， 并将切分后的每一子 图像输入所述图像特征提取子模型， 获得所述子图像的向量， 其中， 所述待输入的图像为所述待处理图像或所述样本图像， 每一 所述子图像的尺寸相同； 根据每一所述子图像的位置对所述子图像的向量进行拼接， 获得所述待输入的图像对 应的特征向量序列。 5.根据权利要求2所述的方法， 其特征在于， 所述根据所述噪声向量、 所述分类概率分 布与预设的目标分类对所述图像处 理模型进行训练， 包括： 将当前训练批次中的各个样本图像对应的噪声向量中每一像素点的噪声值的平方之 和确定为第一损失；权　利　要　求　书 1/2 页 2 CN 114120364 A 2根据当前训练批次中的各个样本图像的分类概率分布中与该目标分类对应的概率以 及所述目标分类， 确定第二损失； 将所述第一损失与 所述第二损失之和确定为目标损失， 以根据 所述目标损失对所述图 像处理模型进行训练。 6.根据权利要求5所述的方法， 其特 征在于， 若所述噪声信息 子模型为定向类型， 所述目标分类为所述定向类型对应的预设 分类； 若所述噪声信息子模型为非定向类型， 所述目标分类为所述样本图像对应的标注分 类。 7.根据权利要求1所述的方法， 其特征在于， 所述根据所述待处理图像和所述噪声图 像， 生成与所述待处 理图像对应的目标图像， 包括： 将所述待处理图像和所述噪声图像中对应于同一位置的像素点的数据进行叠加， 获得 所述目标图像。 8.一种图像分类方法， 其特 征在于， 所述方法包括： 接收待分类的图像； 根据所述待分类的图像和图像分类模型， 确定所述待分类的图像对应的目标分类， 其 中， 所述图像分类模型 的训练数据包括 目标训练图像和该目标训练图像对应的标注分类， 所述目标训练图像为基于 权利要求1 ‑7中任一所述图像处 理方法获得的图像。 9.一种图像处 理装置， 其特 征在于， 所述装置包括： 第一接收模块， 用于 接收待处 理图像； 第一确定模块， 用于根据所述待处理图像和图像处理模型， 确定所述待处理图像对应 的噪声图像， 其中， 所述图像处理模型包括图像特征提取子模 型和噪声信息子模 型， 所述图 像特征提取子模型用于获取所述待处理图像的特征向量， 所述噪声信息子模型用于根据所 述待处理图像的特征向量确定所述待处理图像的噪声图像， 在训练过程中所述图像处理模 型还包括分类子模型， 所述图像处理模型的损失是基于所述噪声信息子模 型添加的噪声向 量和所述分类子模型输出的分类概 率分布确定的； 生成模块， 用于根据所述待处理图像和所述噪声图像， 生成与所述待处理图像对应的 目标图像， 其中所述待处 理图像与所述目标图像对应的分类相同。 10.一种图像分类装置， 其特 征在于， 所述装置包括： 第二接收模块， 用于 接收待分类的图像； 第二确定模块， 用于根据所述待分类的图像和图像分类模型， 确定所述待分类的图像 对应的目标分类， 其中， 所述图像分类模型 的训练数据包括 目标训练图像和该目标训练图 像对应的标注分类， 所述目标训练图像为基于权利要求1 ‑7中任一所述图像处理方法获得 的图像。 11.一种计算机可读介质， 其上存储有计算机程序， 其特征在于， 该程序被处理装置执 行时实现权利要求1 ‑8中任一项所述方法的步骤。 12.一种电子设备， 其特 征在于， 包括： 存储装置， 其上存 储有计算机程序； 处理装置， 用于执行所述存储装置 中的所述计算机程序， 以实现权利要求1 ‑8中任一项 所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 114120364 A 3