(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111337548.1 (22)申请日 2021.11.10 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 张幸林　欧昭婧　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 代理人 冯炳辉 (51)Int.Cl. G06N 20/00(2019.01) G06F 9/48(2006.01) G06F 9/50(2006.01) (54)发明名称 基于多任务联邦学习的通信成本和模型鲁 棒性优化方法 (57)摘要 本发明公开了一种基于多任务联邦学习的 通信成本和模 型鲁棒性优化方法， 在联邦学习的 场景下， 单个客户机需要训练多个用户型任务， 其中客户机的模型由单个共享层和多个任务特 定层组成； 包括： 1)服务器挑选并邀请客户机参 与通信； 2)客户机回应并发送信息给服务； 3)服 务器分发共享层给所有客户机； 4)客户机组合模 型； 5)客户机使用优化算法本地训练模型； 6)客 户机量化压缩共享层并发送给服务器； 7)服务器 对共享层进行聚合； 8)重复步骤1) ‑7)直到满足 要求。 本发 明方法能够在单个客户机训练多个用 户型任务的联邦学习场景下， 同时最小化总体的 通信成本和提高模型的鲁棒 性。 权利要求书3页 说明书6页 附图1页 CN 114219094 A 2022.03.22 CN 114219094 A 1.基于多任务联邦学习的通信成本和模型鲁棒性优化方法， 其特征在于， 该方法是在 联邦学习的场景下单个客户机训练多个用户型任务， 目标为最小化整体的通信成本和平均 客户机的模型损失值， 将联邦学习与多任务学习相结合， 每个客户机的模型 由一个共享层 和多个任务特定层组成， 客户机与服 务器进行交 互， 其包括以下步骤： 1)服务器从客户机列表中挑选 部分或所有的客户机邀请参与本轮通信和模型聚合； 2)受邀请的客户机中部分客户机回复接受并发送包含本地数据集大小的相关信息给 服务器； 3)在客户机进行本地训练前， 服 务器会向所有的客户机都 发送共享层； 4)若是首次进行通信， 每个客户机将会根据收到的共享层和需要训练的用户型任务的 数量和内容生成模型； 若不是首次通信那么客户机会将收到的共享层进行反量化， 与上一 轮保留在本地的任务特定层组合成模型用于 本地训练； 5)客户机使用本地的数据集使用SVRG优化 算法进行模型训练； 6)本地训练结束后， 参与本轮通信的客户机将训练后的共享层进行量化压缩， 并将量 化压缩后的共享层和量化压缩过程的缩放比例传递给服务器， 所有客户机同步等待服务器 返回聚合结果； 7)服务器收到参与本轮通信的客户机的共享层和缩放比例后， 根据客户机的本地训练 数据集的数量大小按照权重将共享层和缩放比例进行聚合， 并将聚合后的结果返回给所有 客户机； 8)重复步骤1) ‑7)， 直至达到预设通信次数或客户机的平均模型损失值小于设定值。 2.根据权利要求1所述的基于多任务联邦学习的通信成本和模型鲁棒性优化方法， 其 特征在于， 联邦学习的场景下单个客户机训练多个用户型任务， 并需要同时优化通信成本 和模型鲁棒性； 考虑在联邦学习的场景下有M个客户机进行模型训练， 其中第m个客户机一 共训练Tm个用户型任务， θm为第m个客户机训练的模型且 其中θ1′为 第1个用户型任务的模型， θ2′为第2个用户型任务的模型， 为第Tm个用户型任务的模型； 每个客户机训练优化模型鲁棒 性的目标为 最小化平均用户型任务的损失值 l( θm)如下： 式中， Tm为第m个客户机训练的用户型任务的数量， nm为第m个客户机本地的样本数量， 为第m个客户机的第j个样本的特征， θt′是第t个用户型任务的模型， 为第m个客户机 的第j个样本中第t个用户型任务的标签， f( ·)是根据模型参数进行预测的函数， l( ·)是 计算模型损失值的函数， λ为 正则化惩罚系数， | | θm||2为模型的参数平方和； 单个客户机与服务器之间的通信成本bm由上传模型的次数和单次上传的模型大小共同 决定， 上传通信成本bm如下： bm＝r×| θm|×H( θm) 式中， r为通信上传模型的次数， |θm|为第m个客户机的通信过程中模型的大小， H( θm)为 第m个客户机通信过程中上传模型的熵； 综合考虑多个客户机与服务器， 将联邦学习场景下训练多个用户型任务的目标函数设权　利　要　求　书 1/3 页 2 CN 114219094 A 2计如下： 目标为同时优化平均客户机的模型损失值和整体的通信成本 。 3.根据权利要求1所述的基于多任务联邦学习的通信成本和模型鲁棒性优化方法， 其 特征在于， 将联邦学习与多任务学习相结合， 每个客户机的模型 由一个共享层和多个任务 特定层组成； θm为第m个客户机训练的模型， 传统的单个客户机训练多个用户型任务模型为 将转变成单个客户机训练单个模型， 且模型由一个共享层和多个 任务特定层组成， 即 其中θsh是共享层， 是任务特定层， 且任务特定层能够 拆分为 其中θ1*为第1个用户型任务的任务特定层， θ2*为第2个用 户型任务的任务特定层， 为第Tm个用户型任务的任务特定层。 4.根据权利要求1所述的基于多任务联邦学习的通信成本和模型鲁棒性优化方法， 其 特征在于， 在步骤5)中， 使用SVRG优化算法进行模 型训练， SVRG优化算法能够加快本地训练 的收敛速度， 在达到相同的精度的前提下， 使用SVRG优化算法能够 减少通信的次数； 在客户 机进行本地训练的过程中， 该SVRG优化算法与多任务学习结合起来； 客户机的单轮本地训 练由外层循环和内层循环构成， 并且在循环的过程中有两个模 型， 分别为模型θ和模型映像 对于第t个用户型任务， 外层循环计算模型映像 的共享层和第t个任务特定层的全局 平均梯度， 分别为 和 其中 为模型映像 在共享层的全局 平均梯度， 为模型映像 在第t个用户型任务的任务特定层的全局平均梯度； 在内层 循环中， 随机挑选一批样本计算该样本在 模型和模 型映像中的梯度， 并对模型进 行更新， 具 体的更新公式如下： 式中， 是第j批样本在模型θ 的共享层的梯度， 是第j批样本在模型映 像 的共享层的梯度， 是第j批样本在第 t个用户型任务中模型θ 的任务特定层的梯 度， 是第j批样本在第t个用户型任务中模型映像 的任务特定层的梯度， η是本地 模型训练参数更新的学习率， 并且在进行下一轮训练时将模型映像 的参数更新为模型θ 的参数。 5.据权利要求1所述的基于多任务联邦学习的通信成本和模型鲁棒性优化方法， 其特 征在于， 在步骤6)中， 客户机与服务器进 行通信时只上传 共享层， 多个任务特定层 会保留在权　利　要　求　书 2/3 页 3 CN 114219094 A 3