(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211440089.4 (22)申请日 2022.11.17 (71)申请人 南京信息 工程大学 地址 210044 江苏省南京市浦口区宁六路 219号 (72)发明人 赵俊杰　吴俊凤　王金伟　戴跃伟　 (74)专利代理 机构 北京同辉知识产权代理事务 所(普通合伙) 11357 专利代理师 张恩慧 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) H04N 1/64(2006.01) G06T 9/00(2006.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于分块域变换模拟技术的JPEG对抗 样本生成方法 (57)摘要 本发明公开一种基于分块域变换模拟技术 的JPEG对抗样本生成方法， 所述对抗样本生成方 法包括以下步骤： 以分块域变换模拟技术为基 础， 利用卷积层构建JPEG解压缩模块、 之后与原 始卷积神经网络组合形成输入为JPEG流的新模 型； 获取该模型关于输入JPEG流的梯度信息； 按 照单步幅度构建对抗噪声； 经过块间位置筛选和 块内像素筛选步骤后确定对抗噪声嵌入位置， 重 复直至生成的JPEG流变为对抗样本。 本发明JPEG 对抗样本生成方法解决了数字图像对抗样本无 法以有损压缩格式存储和传输的问题， 通过以分 块域变换模拟技术为基础构建JPEG解压缩模块， 直接获取关于JPEG流的梯度信息， 以广泛使用的 JPEG图像 格式生成对抗样本 。 权利要求书2页 说明书7页 附图5页 CN 115496973 A 2022.12.20 CN 115496973 A 1.一种基于分块域变换模拟技术的JPEG对抗样本生成方法， 其特征在于， 所述对抗样 本生成方法包括以下步骤： 步骤一： 以分块 域变换模拟技 术为基础， 利用卷积层构建JPEG解压缩 模块； 步骤二： 将步骤一构建的JPEG解压缩模块与原始卷积神经网络组合形成输入为JPEG流 的新模型； JPEG解压缩模块的输出为RGB图像， 符合原始卷积神经网络的输入要求， JPEG图 片能够在未解压缩状态下直接 输入JPEG解压缩 模块， 再输入原 始卷积神经网络； 步骤三： 使用反向传播算法计算新模型关于输入的JPEG流的梯度信息， 形成关于JPEG 流的符号梯度； 步骤四： 以JPEG图像8 ×8小块内梯度绝对值幅值的平均 值为标准对块间梯度幅值进行 排序， 筛选待嵌入 对抗噪声的小块； 步骤五： 在每个已选定的小块内， 按块内梯度幅值的大小排序， 筛选绝对值最大的前n 个像素点； 步骤六： 在符号梯度的基础上乘以单步噪声幅值ε， 依次与步骤四形成的块间掩膜和步 骤五形成的块内掩膜 做点乘运 算， 形成单步对抗噪声； 步骤七： 将步骤六生成的单步对抗噪声用预设的最大噪声幅度E截断， 并添加至输入的 JPEG图片， 生成新的样本； 步骤八： 将步骤七生成的新样本重新输入新模型， 检查是否是对抗样本， 如果不是对抗 样本， 重复步骤三至步骤 七， 直至输出对抗样本 。 2.根据权利要求1所述的一种基于分块域变换模拟技术的JPEG对抗样本生成方法， 其 特征在于， 所述JPEG解压缩 模块的构建方式包括： （1） 、 构建域变换 卷积层； （2） 、 构建颜色变换 卷积层； 依次组合乘法、 域变换卷积层、 取8位整数、 颜色变换卷积层、 取8位整数， 形成JPEG解压 缩模块。 3.根据权利要求2所述的一种基于分块域变换模拟技术的JPEG对抗样本生成方法， 其 特征在于， 所述域变换卷积层的构建通过8 ×8的反离散余弦变换用矩阵乘法实现， 如公式 （1） 所示： Xb=Flatten(Xf)×Mt                   （1） 式中， Xb表示空间域的8 ×8图像块， Xf表示离散余弦域的图像块， Mt表示反离散余弦变 换矩阵， Flat ten表示摊平函数； 使用分块域变换技术实现反离散余弦变换， 无偏置项的卷积层也是一种线性变换， 通 过搭建一个包括64个8 ×8尺寸卷积核、 卷积步长为8的卷积层， 使用Mt初始化该卷积核参 数， 并固定该卷积层参数， 形成域变换卷积层ConvIDCT， 使用ConvIDCT进行反离散余弦变换 的过程如公式 （2） 所示： Xb=ConvIDCT*Xf                   （2） 式中， *表示卷积运 算。 4.根据权利要求2所述的一种基于分块域变换模拟技术的JPEG对抗样本生成方法， 其 特征在于， 所述颜色变换卷积层的构建通过搭建一个包括3个1 ×1尺寸卷积核、 卷积步长为 1的卷积层， 使用YCbCr到RGB颜色空间变换系数初始化该卷积核参数， 并固定该卷积层参权　利　要　求　书 1/2 页 2 CN 115496973 A 2数， 称为颜色变换 卷积层， Y CbCr到RGB颜色空间转换的方式如公式 （3） 所示：                     （3） 其中， R、 G、 B、 Y、 Cb、 Cr 分别表示图像的R、 G、 B、 Y、 Cb、 Cr颜色通道 分量， 由公式 （3） 中的系 数组成的矩阵称为颜色空间变换矩阵。 5.根据权利要求1所述的一种基于分块域变换模拟技术的JPEG对抗样本生成方法， 其 特征在于， 所述 步骤四块间梯度幅值 排序的具体步骤为： 1） 对梯度值矩阵Mg取绝对值， 得到|Mg|； 2） 在每个8×8小块内， 对|Mg|求和， 得到∑|Mg|； 3） 对∑|Mg|内的值从大到小 进行排序， 保存排序后的索引； 筛选待嵌入小块的具体步骤为： 1） 初始化全为0的块间掩码矩阵Maskb； 2） 将∑|Mg|最大的前n个索引对应的Maskb小块内的值设置为1。 6.根据权利要求1所述的一种基于分块域变换模拟技术的JPEG对抗样本生成方法， 其 特征在于， 所述 步骤五块内梯度幅值 排序的具体步骤 包括： 1） 对梯度值矩阵Mg取绝对值， 得到|Mg|； 2） 在|Mg|的每个8×8小块内进行从大到小的排序， 保存排序后的索引序列； 块内筛选的具体步骤为： 初始化全为0的块间掩码矩阵Maskp； 2） 将|Mg|每个8×8小块内最大的前n个索引对应的Maskp值设置为1。 7.根据权利要求1所述的一种基于分块域变换模拟技术的JPEG对抗样本生成方法， 其 特征在于， 所述 步骤六形成单步对抗噪声具体的计算 步骤： Noisead= ε·sign(Mg)·Maskb·Maskp 其中， Noisead表示单步对抗噪声， sign表示取符号函数， ·表示矩阵中对应元素相乘， sign函数的运 算方式如下式所示： 其中， x表示输入， y表示输出。 8.根据权利要求1所述的一种基于分块域变换模拟技术的JPEG对抗样本生成方法， 其 特征在于， 所述 步骤八检查是否是对抗样本的条件 包括： 1） 、 步骤七生成的新样本是对抗样本， 输出对抗样本； 2） 、 步骤三至步骤七的重复次数达到预设的最大迭代次数S， 输出生成失败； 此情况需 调整超参数重新执 行本方案， 以最终生成JPEG对抗样本 。权　利　要　求　书 2/2 页 3 CN 115496973 A 3