(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211314348.9 (22)申请日 2022.10.26 (71)申请人 广州中平智能科技有限公司 地址 510000 广东省广州市南沙区丰泽 东 路106号 (72)发明人 郑飞州　李昭睿　陈政霖　 (74)专利代理 机构 广州容大知识产权代理事务 所(普通合伙) 44326 专利代理师 杨艳 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种针对梯度裁剪的深度学习模型鲁棒性 评估方法和系统 (57)摘要 本发明实施例提供一种针对梯度裁剪的深 度学习模型鲁棒性评估 方法和系统， 为了减少梯 度裁剪对测试样本集造成的模型偏移效果的影 响， 首先得到目标模型中权重参数 w的梯度Gω。 然后对Gω的分布进行分析， 计算其数据分布方 差最小的方向， 并将该方向作为模 型鲁棒性评估 方案中模型修改的方向。 然后 在该方向上计算生 成测试样本( xP,yP)。 按照本方法得到的测试样 本， 只需要产生较小的梯度就可以使模型参数的 分布产生明显区分， 从而达到较好的模型偏移效 果， 提升了评估方案的评估可信度。 权利要求书2页 说明书8页 附图3页 CN 115392402 A 2022.11.25 CN 115392402 A 1.一种针对梯度裁 剪的深度学习模型鲁棒 性评估方法， 其特 征在于， 包括： 步骤S1、 提取目标模型的原始训练集中的原始样本集， 对所述原始样本集进行奇异值 分解， 以得到投毒样本； 基于所述投毒样本， 以及所述投毒样本经所述目标模型的预测结果 构建测试样本； 步骤S2、 将所述测试样本插入原始训练集生成测试训练集， 基于所述测试训练集进行 神经网络训练得到偏移模型； 步骤S3、 基于所述偏移模型对所述投毒样本进行预测， 基于预测结果确定偏移模型是 否偏移成功； 获取目标模型的偏移成功率， 将所述偏移成功率作为评估结果。 2.根据权利要求1所述的针对梯度裁剪的深度 学习模型鲁棒性评估方法， 其特征在于， 所述步骤S1具体包括： 步骤S11、 获取目标模型以及训练所述目标模型使用的原始训练集 D= （X,Y） ， 其中，X为 原始样本集， Y为原始标签集， 训练样本( x,y)∈D； 步骤S12、 基于梯度方差最小时的测试样本 （ xP, yP） ， 并确定在预设梯度方差上界下的 xP表达式； 步骤S13、 对训练集中的测试样本进行奇异值 分解， 得到投毒样本 xP； 基于目标模型对投 毒样本xP进行预测， 得到投毒样本 xP的最小概 率类标签 yP， 将 （xP, yP） 作为测试样本 。 3.根据权利要求2所述的针对梯度裁剪的深度 学习模型鲁棒性评估方法， 其特征在于， 所述步骤S12具体包括； 计算所述目标模型的权 重参数w的梯度Gw： Gw=∇wLoss(w,b ; x,y) 上式中，Loss表示损失函数； ∇w表示对权 重参数w求梯度；b为目标模型的偏移参数； 获取测试样本( xP,yP )的计算公式： 上式中，Var[]表示梯度方差; 预设梯度方差上界为 Var[xP,x]， 得到： 。 4.根据权利要求3所述的针对梯度裁剪的深度 学习模型鲁棒性评估方法， 其特征在于， 对训练集中的测试样本进行奇异值分解， 具体包括： 基于奇异值分解方法求解 xP表达式； 将奇异值分解后最小奇异值对应的奇异值向量缩 放到与原 始训练样本集中其 余训练样本相同的范 数， 得到投毒样本 xP： 权　利　要　求　书 1/2 页 2 CN 115392402 A 2上式中，SVD为奇异值分解函数； vd为奇异值分解后最小奇异值对应的奇异值向量， m表 示范数； 令X为 的矩阵；U表示一个 的矩阵； Σ表示一个 的对角矩阵， 除了 主对角线外其 他元素值均为0， 主对角线上每 个元素均为奇异值； V是一个 的矩阵。 5.根据权利要求2所述的针对梯度裁剪的深度 学习模型鲁棒性评估方法， 其特征在于， 所述步骤S2具体包括： 将测试样本复制k份， 并将k份测试样本混入原 始训练集 D中， 得到测试训练集； 基于测试训练集进行神经网络训练， 得到偏移模型。 6.根据权利要求5所述的针对梯度裁剪的深度 学习模型鲁棒性评估方法， 其特征在于， 所述步骤S3中， 基于所述偏移模型对所述投毒样本进行预测， 基于预测结果确定偏移模型 是否偏移成功， 具体包括： 将投毒样本输入偏移模型， 得到偏移模型的预测结果 fθ(xP)， 并确定损失值， 若判断所 述损失值小于预设损失阈值则判断偏移模型偏移成功。 7.根据权利要求1所述的针对梯度裁剪的深度 学习模型鲁棒性评估方法， 其特征在于， 所述步骤S3中， 获取目标模型的偏移成功率， 将所述偏移成功率作为评估结果， 具体包括： 基于蒙特卡洛估计方法确定攻击成功率P： 上式中，n表示不同投毒样本下的攻击总次数； k表示攻击成功次数； α表示本次估计的 置信度；BetaInv为BetaInv函数。 8.一种针对梯度裁 剪的深度学习模型鲁棒 性评估系统， 其特 征在于， 包括： 测试样本生成模块， 提取目标模型的原始训练集中的原始样本集， 对所述原始样本集 进行奇异值分解， 以得到投毒样本； 基于所述投毒样本， 以及所述投毒样本经所述目标模型 的预测结果构建测试样本； 偏移模型生成模块， 将所述测试样本插入原始训练集生成测试训练集， 基于所述测试 训练集进行神经网络训练得到偏移模型； 评估模块， 基于所述偏移模型对所述投毒样本进行预测， 基于预测结果确定偏移模型 是否偏移成功； 获取目标模型的偏移成功率， 将所述偏移成功率作为评估结果。 9.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至7任一项所述针对梯 度裁剪的深度学习模型鲁棒 性评估方法的步骤。 10.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该计算机 程序被处理器执行时实现如权利要求1至7任一项所述针对梯度裁剪的深度学习模型鲁棒 性评估方法的步骤。权　利　要　求　书 2/2 页 3 CN 115392402 A 3