(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111677416.3 (22)申请日 2021.12.31 (71)申请人 深圳大学 地址 518060 广东省深圳市南 山区粤海街 道南海大道3 688号 (72)发明人 刘刚　陈晓枫　蒋琬　毛睿　 (74)专利代理 机构 深圳市恒申知识产权事务所 (普通合伙) 44312 代理人 赵胜宝 (51)Int.Cl. H04N 19/42(2014.01) H04N 19/124(2014.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种数据压缩方法及装置 (57)摘要 本申请提供了一种数据压缩方法及装置。 本 申请中通过对待发送的目标全局模型的目标梯 度参数进行稀 疏化得到待发送梯度参数， 以提高 传输模型过程中的待传输模型数据的压缩率； 以 及， 本申请权衡压缩率和准确率， 通过对所述待 发送梯度参数进行量化处理， 得到所述目标全局 模型对应的压缩梯度参数， 可以得到较为精确的 压缩梯度参数， 从而降低对模型的梯度参数进行 压缩所导致的对模型准确率的影响。 这样， 本申 请所提供的方法可以保证在客户端与服务器传 输模型的过程中不仅可以降低数据的通信量， 还 可以降低模型精确度的损失。 权利要求书2页 说明书11页 附图2页 CN 114339252 A 2022.04.12 CN 114339252 A 1.一种数据压缩方法， 其特 征在于， 所述方法应用于客户端， 所述方法包括: 获取目标全局模型； 根据所述目标全局模型， 确定所述目标全局模型对应的目标梯度参数； 根据所述目标梯度参数和预设的阈值参数量， 确定待发送梯度参数； 其中， 所述待发送 梯度参数的参数 数量少于所述目标梯度参数的参数 数量； 对所述待发送梯度参数进行量 化处理， 得到所述目标全局模型对应的压缩梯度参数。 2.根据权利要求1所述的方法， 其特 征在于， 所述获取目标全局模型， 包括： 获取服务器发送的全局梯度； 根据所述全局梯度， 确定所述全局梯度对应的目标模型； 利用所述 客户端的本地训练数据对所述目标模型进行训练， 得到所述目标全局模型。 3.根据权利要求1所述的方法， 其特征在于， 所述根据所述目标梯度参数和预设的阈值 参数量， 确定待发送梯度参数， 包括： 根据所述目标梯度参数和预设的阈值 参数量， 确定梯度参数阈值； 根据所述梯度参数阈值和所述目标梯度参数， 确定待发送 矩阵； 根据所述待发送 矩阵和所述目标梯度参数， 确定待发送梯度参数。 4.根据权利要求3所述的方法， 其特征在于， 所述根据所述目标梯度参数和预设的阈值 参数量， 确定梯度参数阈值， 包括： 获取历史保留梯度参数； 根据所述历史保留梯度参数和所述目标梯度参数的参数量， 以及， 所述预设的阈值参 数量， 确定梯度参数阈值。 5.根据权利要求4所述的方法， 其特征在于， 在所述根据 所述梯度参数阈值和所述目标 梯度参数， 确定待发送 矩阵的步骤之后， 所述方法还 包括： 根据所述待发送 矩阵， 确定保留矩阵； 根据所述保留矩阵和所述目标梯度参数， 确定保留梯度参数， 并将所述保留梯度参数 作为当前的历史保留梯度参数。 6.根据权利要求1所述的方法， 其特征在于， 所述对所述待发送梯度参数进行量化处 理， 得到所述目标全局模型对应的压缩梯度参数， 包括： 根据所述待发送梯度参数中的所有梯度参数， 确定所述待发送梯度参数的梯度参数均 值、 梯度参数最大值和梯度参数最小值； 对所述待发送梯度参数的梯度参数均值、 梯度参数最大值和梯度参数最小值进行3 ‑ bit量化处理， 得到所述目标全局模型对应的压缩梯度参数。 7.根据权利要求1 ‑6中任一所述的方法， 其特 征在于， 所述方法还 包括： 将所述目标全局模型对应的压缩梯度参数向服务器发送， 以便所述服务器根据多个客 户端发送的压缩梯度参数进行平均聚合， 得到全局梯度更新模型， 以及向所述客户端返回 所述全局梯度更新模型。 8.一种数据压缩 装置， 其特 征在于， 所述装置应用于客户端， 所述装置包括: 模型获取 单元， 用于获取目标全局模型； 第一确定单元， 用于根据所述目标全局模型， 确定所述目标全局模型对应的目标梯度 参数；权　利　要　求　书 1/2 页 2 CN 114339252 A 2第二确定单元， 用于根据所述目标梯度参数和预设的阈值参数量， 确定待发送梯度参 数； 其中， 所述待发送梯度参数的参数 数量少于所述目标梯度参数的参数 数量； 参数量化单元， 用于对所述待发送梯度参数进行量化处理， 得到所述目标全局模型对 应的压缩梯度参数。 9.一种计算机设备， 包括存储器、 处理器以及存储在所述存储器中并且可以在所述处 理器上运行 的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要 求1至7中任一项所述方法的步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处 理器执行时实现如权利要求1至7中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 114339252 A 3