(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111624380.2 (22)申请日 2021.12.28 (71)申请人 上海交通大 学 地址 200240 上海市闵行区东川路80 0号 (72)发明人 王梦琪　施晓华　卢宏涛　 (74)专利代理 机构 上海伯瑞杰知识产权代理有 限公司 312 27 代理人 孟旭彤 (51)Int.Cl. G06F 21/60(2013.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于生成对抗网络的图像隐私保护方 法及系统 (57)摘要 本发明提供了一种基于生成对抗网络的图 像隐私保护方法及系统， 所述方法包括： 获取包 含用户隐私数据的原始图片数据集； 以原始图片 数据集为训练数据集， 对非线性映射模块、 生成 器模块以及判别器模块联合训练； 在非线性映射 模块、 生成器模块与判别器模块联合训练过程中 加入差分隐私， 使生成器生 成的图片能够保护原 始图片隐私不被泄露； 以及对于训练好的非线性 映射模块与生成器模块， 不断改变非线性映射模 块的随机输入变量与生成器模块的噪声特征变 量， 获得预期数量的隐私保护图片数据集。 本发 明基于生成对抗网络的图像隐私保护方法及系 统隐私保护性高、 图片隐私处理后可用性强、 图 像隐私保护简单。 权利要求书2页 说明书7页 附图5页 CN 114329549 A 2022.04.12 CN 114329549 A 1.一种基于生成对抗网络的图像隐私保护方法， 其特 征在于， 所述方法包括以下步骤： 获取包含用户隐私数据的原 始图片数据集； 以原始图片数据集为训练数据集， 对非线性映射模块、 生成器模块以及判别器模块联 合训练； 在非线性映射模块、 生成器模块与判别器模块联合训练过程中加入差分隐私， 使生成 器生成的图片能够保护原 始图片隐私不被泄 露； 以及 对于训练好的非线性映射模块与生成器模块， 不断改变非线性映射模块的随机输入变 量与生成器模块的噪声特 征变量， 获得 预期数量的隐私保护图片数据集。 2.根据权利要求1所述的基于生成对抗网络的图像隐私保护方法， 其特征在于， 所述以 原始图片数据集为训练数据集， 对非线性映射模块、 生成器模块以及判别器模块联合训练 的步骤具体包括： 将满足均匀分布的随机变量作为非线性映射模块的输入获得对应的风格特 征； 将数值与维度固定的常量作为生成器模块的输入， 在生成器上采样过程中， 将风格特 征与随机噪声特 征作为自适应实例归一 化的参数， 输出生成图片； 判别器模块分别将生成图片与原 始图片作为输入， 并预测输入图片的真假； 根据判别器模块对输入图像的预测结果与损失函数联合训练非线性映射模块、 生成器 模块与判别器模块。 3.根据权利要求2所述的基于生成对抗网络的图像隐私保护方法， 其特征在于， 所述将 满足均匀分布的随机变量作为非线性映射模块的输入获得对应的风格特征的步骤具体包 括： 构建非线性映射模块， 设计非线性映射网络， 对输入的潜在空间Z中的潜码z进 行加工转 换： Z→W(w∈W)， 将学习到的仿射变换w定制化 为风格编码y＝(ys， yb)。 4.根据权利要求2所述的基于生成对抗网络的图像隐私保护方法， 其特征在于， 所述将 数值与维度固定的常量作为生成器模块的输入， 在生成器上采样过程中， 将风格特征与随 机噪声特征作为自适应实例归一化的参数， 输出生成图片的步骤包括： 构建生成器模块， 在 上采样过程中通过Resnet风格的跳跃 连接在低分辨 率的特征映射到最终生成的图像。 5.根据权利要求2所述的基于生成对抗网络的图像隐私保护方法， 其特征在于， 所述判 别器模块分别将生成图片与原始图片作为输入， 并预测输入图片的真假的步骤具体包括： 构建判别器模块， 采用类似ResNet的残差连接结构， 通过跳跃连接实现 网络加深， 使用双 线 性滤波对前一层进行 上/下采样， 并尝试 学习下一层的残差值。 6.根据权利要求2所述的基于生成对抗网络的图像隐私保护方法， 其特征在于， 所述根 据判别器模块对输入图像的预测结果与损失函数联合训练非线性映射模块、 生成器模块与 判别器模块的步骤 具体包括： 在判别器第一层卷积层的反向传播过程中， WGAN ‑GP损失对梯 度进行正则化处理， WGAN ‑GP损失函数表示为： 其中， w表示由z得 到的解耦隐层编码， y表示图像， 图像的像素符合正态 分布， Jw是生成器G对w的一阶矩阵， 表 示图像在w上的变化， a是动态的移动平均值， 随着优化动态调整， 自动找到一个全局最优 值。 7.根据权利要求6所述的基于生成对抗网络的图像隐私保护方法， 其特征在于， 所述加 入差分隐私的WGAN ‑GP损失函数 更新为：权　利　要　求　书 1/2 页 2 CN 114329549 A 2其中 与 分别表示判别器与生成器的训练目标， λ是用于加权梯度惩罚项的超参数， Pz表示潜在编码变量z的先验分布， 变量a～U[0， 1]从[0， 1]均匀采样， 调节真实样本和生成 样本之间的插值。 8.一种基于生成对抗网络的图像 隐私保护系统， 其特征在于， 所述系统包括图像生成 模型和差分隐私策略， 所述图像生成模型包括： 非线性映射模块， 用于通过非线性映射网络将隐层编码映射为连续的非均匀分布函 数， 使其与隐层特 征的分布一 致， 获得生成器模块所需的风格特 征； 生成器模块， 用于将常量作为原始输入， 上采样期间不断加入由非线性映射模块所获 得的风格特 征以及随机噪声变量， 最终输出生成图像； 判别器模块， 用于将生成图像与原始图像作为输入并预测图像的真假， 根据预测结果 与损失函数迭代联合优化训练所述非线性映射模块、 生成器模块及判别器模块； 所述差分隐私策略用于在图像生成模型的基础上对图像生成模型参数进行调整使得 图像生成模型能够生成满足差分隐私的生成图像， 实现隐私图像保护。权　利　要　求　书 2/2 页 3 CN 114329549 A 3