(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211252091.9 (22)申请日 2022.10.13 (71)申请人 合肥本源物联网科技有限公司 地址 230000 安徽省合肥市经济技 术开发 区宿松路以东、 观海路以北智能装备 科技园A区1栋108 (72)发明人 张洋　徐晶　陶学峰　钱定军　 石雷　 (74)专利代理 机构 合肥和瑞知识产权代理事务 所(普通合伙) 34118 专利代理师 王挺 (51)Int.Cl. G06N 20/20(2019.01) G06F 9/50(2006.01) (54)发明名称 边缘计算场景下基于模型分割的异步联邦 学习加速方法 (57)摘要 本发明公开了边缘计算场景下基于模型分 割的异步联邦学习加速方法， 涉及联邦学习和边 缘计算的技术领域， 异步联邦学习中， 某边缘设 备执行某次迭代时， 会选择一个分割点对模型进 行分割， 该边缘设备计算模型的前半部分， 并将 模型的后半部分计算任务卸载到边缘服务器上， 利用边缘服务器计算模型的后半部分； 对异步联 邦学习每次迭代所对应的边缘设备的分割点进 行动态调整， 并且在调整分割点时， 还考虑了带 宽分配比和卸载任务在边缘服务器上的等待时 间， 本发明平衡各边缘设备进行本地模型训练的 进度差异， 在保证全局模型准确率的情况下实现 训练加速， 使得异步联邦学习的模 型训练完成总 时间最小化。 权利要求书3页 说明书8页 附图2页 CN 115329990 A 2022.11.11 CN 115329990 A 1.边缘计算场景下基于模型分割的异步联邦学习加速方法， 其特征在于， 采用n个边缘 设备和1个边 缘服务器进行异步联邦学习； 异步联邦学习中， 某边缘设备执行某次迭代时， 会选择一个分割点对模型进行分割， 该 边缘设备计算模型 的前半部分， 并将模型 的后半部分计算任务卸载到边缘服务器上， 利用 边缘服务器计算模型的后半部分； 对异步联邦学习每次迭代所对应的边缘设备的分割点进行动态调整， 使得异步联邦学 习的模型训练完成总时间最小化。 2.根据权利要求1所述的边缘计算场景下基于模型分割的异步联邦学习加速方法， 其 特征在于， 异步联邦学习每次迭代所对应的边 缘设备的分割点选择 方法， 具体如下 所示： S1， 分别为每 个边缘设备筛 选出c个备选分割点； S2， 根据每个边缘设备的c个备选分割点， 构建分割点的分配集合， 分配集合中的每个 元素均为一个分割点序列即(w1,w2,...wn)， 其中， w1为第一个边缘设备的分割点， w2为第2 个边缘设备的分割点， w n为第n个边 缘设备的分割点； S3， 分别为每 个边缘设备选择一个初始分割点： 针对分配集合中的每个分割点序列， 分别计算各个边缘设备的通信时间以及确定各个 边缘设备 的通信时间段， 比较各个边缘设备 的通信时间段， 确定通信时间段发生重叠的边 缘设备数量； 选择通信时间段发生重叠的边缘设备数量为最小的分割点序列作为初始分割点序列； 初始分割点序列中的各个边 缘设备的分割点即为初始分割点； S4， 各个边 缘设备基于初始分割点， 开始进行异步联邦学习的模型迭代训练； S5， 某边缘设备执行完成一次迭代训练后， 再次执行迭代训练时， 从该边缘设备的c个 备选分割点中重新选择一个备选分割点， 作为该边缘设备再次执行迭代训练的分割点， 选 择方式为： 遍历c个备选分割点中的每一个备选分割点， 分别计算该边缘设备在各个备选分割点 下的通信时间段， 比较该边缘设备在备选 分割点下的通信时间段与其他边缘设备的通信时 间段， 确定通信时间段发生重 叠的边缘设备数量； 选择通信时间段发生重叠的边缘设备数量为最小的备选分割点， 作为该边缘设备再次 执行迭代训练的分割点； S6， 按照步骤S5的方式继续进行异步联邦学习的模型迭代训练， 直至达到异步联邦学 习的总迭代次数J。 3.根据权利要求2所述的边缘计算场景下基于模型分割的异步联邦学习加速方法， 其 特征在于， 步骤S1的筛 选方式为： 针对某边缘设备， 遍历模型的每一层分别作为该边缘设备的分割点， 分别计算该边缘 设备在每个分割点下进行一次迭代的计算和数据上传所需的基础时间， 选取c个较小的基 础时间所对应的分割点， 作为该边 缘设备的c个备选分割点。 4.根据权利要求3所述的边缘计算场景下基于模型分割的异步联邦学习加速方法， 其 特征在于， 针对第i个边缘设备di， 遍历模型的每一层分别作为边缘设备di的分割 点， 分别 计算边缘设备di在每个分割点下进行一次迭代的计算和数据上传所需的基础时间Tdi 1， 选 取c个较小的基础时间Tdi1所对应的分割点， 作为该边 缘设备的c个备选分割点；权　利　要　求　书 1/3 页 2 CN 115329990 A 2边缘设备di在分割点 wi下进行一次迭代的计算和数据上传所需的基础时间Tdi1为： 其中， i表示边缘设备的编号， 共有n个边缘设备； r表示模型层数的编号， 模型共有v层； td(r)为模型第r层在边缘设备di上的计算时间， ts(r)为模型第r层在边缘服务器s上的计 算时间； wi为边缘设备的分割点， 即模型在第wi层被分割， 边缘设备di计算模型的前wi层， 边缘服务器计算模型的后v ‑wi层； Gr为模型第r层的输出数据量； Pr为模型第r层的参数数 据量； B为 边缘设备与边 缘服务器间的带宽 。 5.根据权利要求2所述的边缘计算场景下基于模型分割的异步联邦学习加速方法， 其 特征在于， 步骤S3中， 针对第i个边缘设备di， 边缘设备di的通信时间tupi即数据上传时间 为： 其中， Gr为模型第r层的输出数据量； B为边缘设备与 边缘服务器间的带宽； wi为边缘设 备的分割点， 即模 型在第wi层被 分割， 边缘设备di计算模 型的前wi层， 边缘服务器计算模 型 的后v‑wi层； β i为边缘设备di的带宽分配比； 若同一时间内存在多个边缘设备与边缘服务器发生通 信即进行数据传输， 则边缘服务器对同一时间内发生通信的此多个边缘设备进行带宽分 配， 各个边缘设备 的带宽分配比即为各个边缘设备所传输的数据量大小比例： 若同一时间 内仅存在一个边 缘设备与边 缘服务器发生 通信， 则该边 缘设备的带宽分配比即为1； 边缘设备di的通信时间段为： 其中， td(r)为模型第r层 在边缘设备di上的计算时间。 6.根据权利要求2所述的边缘计算场景下基于模型分割的异步联邦学习加速方法， 其 特征在于， 步骤S5中， 第i个边缘设备di执行完一次迭代训练后， 再次执行迭代训练时且为 执行异步联邦学习第j次迭代时， 在分割点 wij下的模型训练时间Tdi(j)为： 其中， i表示边缘设备的编号， 共有n个边缘设备； r表示模型层数的编号， 模型一共有v权　利　要　求　书 2/3 页 3 CN 115329990 A 3