(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111245837.9 (22)申请日 2021.10.26 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 (72)发明人 徐畅　贾钰　祝烈煌　金国燮　 张川　 (74)专利代理 机构 北京正阳理工知识产权代理 事务所(普通 合伙) 11639 代理人 张利萍 (51)Int.Cl. G06F 21/57(2013.01) G06F 21/62(2013.01) G06N 20/00(2019.01) (54)发明名称 一种基于真值发现的鲁棒性联邦学习模型 聚合方法 (57)摘要 本发明提出了一种基于真值发现的鲁棒性 联邦学习模 型聚合方法， 属于机器学习中的联邦 学习技术领域。 所述基于真值发现的鲁棒性联邦 学习模型聚合方法主要包括以下步骤： 步骤1、 搭 建包含一个中心服务器和若干个客户端的联邦 学习系统； 步骤2、 中心服务器将初始全局模型发 送给客户端； 步骤3、 客户端用本地的数据集训练 初始全局模型， 而后得到本地模型， 并将本地模 型参数发送给中心服务器； 步骤4、 中心服务器接 收客户端发送的本地模型参数， 先估计客户端的 权重再计算本地模型参数的真值， 聚合得到全局 模型参数， 最后用余弦相似度过滤恶意客户端。 所述聚合方法能抵御恶意中毒攻击， 容忍系统中 高达50％占比的恶意客户端， 具有较强的鲁棒 性。 权利要求书2页 说明书6页 附图3页 CN 114186237 A 2022.03.15 CN 114186237 A 1.一种基于真值发现的鲁棒性联邦学习模型聚合方法， 其特征在于： 具体包括以下步 骤： 步骤1： 搭建包括中心服 务器和客户端的联邦学习 系统； 其中， 该系统中的客户端拥有自 己的本地客户端计算资源和本地客户端数据集； 中心 服务器拥有自己的本地计算资源； 步骤2： 中心服务器初始化一个机器学习模型， 得到初始全局模型； 而后选择联邦学习 系统中的全部客户端参与本轮训练， 并将初始全局模型发送给参与本轮训练的客户端； 步骤3： 参与本轮训练的客户端接收初始全局模型， 该客户端在本地客户端计算资源空 闲时， 利用其本地计算资源和本地数据集对初始的全局模型进行训练， 得到更新后的本地 模型， 具体包括如下子步骤： 步骤3.1： 在本地计算资源空闲时， 诚实客户端使用所持有的真实数据集训练从中心服 务器处接收的初始全局模型， 执 行梯度下降方法， 得到训练完毕的诚实本地模型； 步骤3.2： 在本地计算资源空闲时， 恶意客户端发起中毒攻击并篡改该用户的初始模型 参数或篡改本地数据集， 执 行梯度下降方法后， 得到训练完毕的恶意本地模型； 步骤3.1的诚实客户端和步骤3.2的恶意客户端得到的训练完毕的诚实本地模型和恶 意本地模型， 统称为更新后的本地模型； 步骤4： 客户端上传更新后的本地模型参数 给中心服 务器； 步骤5： 中心服 务器接收所有客户端上传的更新后的本地模型参数； 步骤6： 中心服务器需等待步骤5全部接收完毕后， 再运行基于真值发现的鲁棒性聚合 规则， 通过初始 化参数、 估计客户端权重、 聚合本地模型参数真值和余弦相似度阈值筛选得 到更新后的全局模型参数； 其中， 步骤6运行基于真值发现的鲁棒性聚合规则， 得到更新后的可靠的全局模型参 数， 包括如下子步骤： 步骤6.1： 初始化参数： 中心服务器首先初始化本地模型真值， 本地模型参数真值即 “数 据的真相值 ”， 是在无恶意客户端存在的理想情况时， 中心 服务器期 望获得的准确的本地模 型参数的数值； 步骤6.2： 估计客户端权重： 中心服务器计算不同的客户端的本地模型参数与本地模型 参数真值之间的欧几里得距离， 基于欧几里得距离构造负对数目标函数， 在正则化约束下， 计算能最小化目标函数的权值， 并据此更新每个客户端的权重， 权重越大， 则说明该客户端 越可靠； 步骤6.3： 聚合本地模型参数真值： 中心服务器使用步骤6.2估计出的每个客户端 的权 重， 将其与本地模型参数真值相乘， 再聚合计算加权平均值， 进 而计算出一组加权平均值； 上述步骤6.2和步骤6.3统称为真值发现算法的过程， 基于真值发现的鲁棒性聚合规则 迭代运行步骤6.2和步骤6.3直到真值发现算法收敛； 其中， 判断真值发现算法 收敛的条件为连续两次迭代中聚合结果变化的阈值或提前预 定义迭代次数； 将最终收敛后得到的模型参数视为本地模型参数真值， 作为中心服务器的 全局模型参数； 步骤6.4： 余弦相似度阈值筛选： 中心服务器计算聚合后的全局模型参数和每个客户端 本地模型参数之间的余弦相似度， 将余弦相似度大于阈值的本地模型 所属客户端过 滤掉；权　利　要　求　书 1/2 页 2 CN 114186237 A 2步骤7： 中心服务器将过滤后留下的客户端视为诚实可信的客户端， 组织这部分客户端 继续参与下一轮的本地模型训练； 中心 服务器发送聚合后的全局模型参数给经过筛选后留 下的客户端； 步骤8： 留下的客户端接收全局模型参数后， 继续从步骤3.1重新开始训练； 用自己的本 地计算资源训练本地数据集， 然后更新本地模型， 再将更新后的本地模型参数发送给中心 服务器， 中心服 务器从步骤6.2开始继续 运行至步骤7直至模型收敛。 2.依据权利要求1所述的一种基于真值发现的鲁棒性联邦学习模型聚合方法， 其特征 在于： 步骤1中的中心 服务器为1个， 客户端总数为k个， 客户端包括s ％比例的恶意客户端和 1‑s％比例的诚实客户端。 3.依据权利要求2所述的一种基于真值发现的鲁棒性联邦学习模型聚合方法， 其特征 在于： 步骤1中， s小于等于 50， 恶意用户的数量 为k×s％个。 4.依据权利要求3所述的一种基于真值发现的鲁棒性联邦学习模型聚合方法， 其特征 在于： 步骤3.2中， 中毒攻击包括模型中毒攻击和数据中毒攻击； 模型中毒攻击即任意篡改 模型的参数 数值， 数据中毒攻击即篡改本地数据集的训练数据。 5.依据权利要求4所述的一种基于真值发现的鲁棒性联邦学习模型聚合方法， 其特征 在于： 步骤4中， 本地模型参数即多个数值组成的矩阵， 矩阵里面包含神经网络模型的每层 网络的权重和偏 置信息； 且由于步骤3中客户端训练本地模型所需时间不相同， 导致上传更 新后的本地模型参数的过程中存在时延。 6.依据权利要求5所述的一种基于真值发现的鲁棒性联邦学习模型聚合方法， 其特征 在于： 步骤6.2中， 数据的欧几里得距离的值越小， 数据的相似度越大， 则说明客户端的本地 模型参数与本地模型参数真值的差异越小， 该客户端具有更高贡献度， 中心服务器赋予该 客户端更高的权 重。 7.依据权利要求6所述的一种基于真值发现的鲁棒性联邦学习模型聚合方法， 其特征 在于： 步骤6.2中， 恶意客户端的本地模型参数与诚实客户端的本地模型参数是不同的， 诚 实客户端的本地模型参数更接近本地模型参数真值， 恶意客户端的本地模 型参数更偏离本 地模型参数真值。 8.依据权利要求7所述的一种基于真值发现的鲁棒性联邦学习模型聚合方法， 其特征 在于： 步骤6.4中， 阈值是 经过排序算法得 出的经验值。 9.依据权利要求8所述的一种基于真值发现的鲁棒性联邦学习模型聚合方法， 其特征 在于： 步骤8中， 判断模型收敛的条件为模型训练完预定的轮数或模 型训练达到预定的准确 率。权　利　要　求　书 2/2 页 3 CN 114186237 A 3