(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111676325.8 (22)申请日 2021.12.31 (71)申请人 浪潮 （北京） 电子信息产业有限公司 地址 100085 北京市海淀区上地信息路2号 2-1号C栋1层 (72)发明人 温东超　梁玲燕　赵雅倩　史宏志　 崔星辰　张英杰　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 刘源 (51)Int.Cl. G06N 3/08(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) (54)发明名称 一种卷积神经网络的模 型参数量化方法、 装 置及相关装置 (57)摘要 本申请公开了一种卷积神经网络的模型参 数量化方法， 包括： 获取数字分类任务的数据集； 构建数字分类任务的卷积神经网络； 利用所述数 据集训练所述卷积神经网络， 训练完成的卷积神 经网络用于执行数字分类任务； 其中， 在所述量 化卷积层的前向传播过程中， 基于符号函数量化 模型参数； 所述模型参数包括权重和激活值； 在 所述量化卷积层的反向传播过程中， 基于参数化 的双曲正切函数量化所述模型参数； 其中， 所述 双曲正切函数中的参数基于所述量化卷积层的 模型参数的数据分布确定， 本申请能够提高数字 分类的模型精度。 本申请还公开了一种卷积神经 网络的模型参数量化装置、 一种计算机可读存储 介质及一种电子设备， 具有以上有益效果。 权利要求书2页 说明书12页 附图3页 CN 114444686 A 2022.05.06 CN 114444686 A 1.一种卷积神经网络的模型参数量 化方法， 其特 征在于， 包括： 获取数字分类任务的数据集； 其中， 所述数据集包 含数字图像和对应的数字标签； 构建数字分类任务的卷积神经网络； 其中， 所述卷积神经网络包括浮点卷积层、 量化卷 积层、 池化层、 归一 化层、 非线性层、 全连接层、 分类层和损失计算层； 利用所述数据集训练所述卷积神经网络， 训练完成的卷积神经网络用于执行数字分类 任务； 其中， 在所述量化卷积层的前向传播过程中， 基于符号函数量化模型参数； 其中， 所述 模型参数包括权 重和激活值； 在所述量化卷积层的反向传播过程中， 基于参数化的双曲正切函数量化所述模型参 数； 其中， 所述双曲正切函数中的参数基于所述 量化卷积层的模型参数的数据分布确定 。 2.根据权利要求1所述模型参数量化方法， 其特征在于， 所述卷积神经网络包括顺序连 接的多个结构单 元、 全连接层、 分类层和损失计算层； 所述结构单元包括第一类型结构单元、 第二类型结构单元和第三类型结构单元； 所述 第一类型结构单元包括顺序连接的浮点卷积层、 归一化层和非线性层； 所述第二类型结构 单元包括顺序连接的量化卷积层、 归一化层和非线性层； 所述第三类型结构单元包括顺序 连接的量 化卷积层、 池化层、 归一 化层和非线性层。 3.根据权利要求1所述模型参数量化方法， 其特征在于， 在所述量化卷积层的前向传播 过程中， 基于符号 函数量化模型参数， 包括： 基于符号函数计算所述模型参数对应的中间量化值， 并计算所述模型参数对应的缩放 因子； 将所述中间量 化值与所述缩放因子的乘积确定为所述模型参数最终的量 化值。 4.根据权利要求1所述模型参数量化方法， 其特征在于， 所述基于符号函数量化模型参 数之后， 还 包括： 对所述权重对应的量化值和激活值对应的量化值进行位操作的内积运算， 得到所述量 化卷积层的输出。 5.根据权利要求1所述模型参数量化方法， 其特征在于， 所述基于参数化的双曲正切函 数量化所述模型参数， 包括： 基于目标双曲正切函数计算所述模型参数对应的量 化值； 其中， 所述目标双曲正切函数 具体为： y(x)＝c0*tanh(c1*x)； 其中， x为所述模型参数， y(x)为所述量化值， c0和c1为超参数， c1基于所述量化卷积层 的模型参数的数据分布确定 。 6.根据权利要求5所述模型参数量 化方法， 其特 征在于， 还 包括： 在目标约束条件下计算c1； 其中， 所述目标约束条件具体为满足预设条件的目标模型参 数的数量与模型参数的总数量的比值大于或等于预设比率r， 所述预设条件具体为tanh (c1*x)∈(‑1,‑r)∪(1,r)。 7.根据权利要求1所述模型参数量 化方法， 其特 征在于， 还 包括： 确定所述 量化卷积层的模型参数在不同区间内对应的数据分布。 8.一种卷积神经网络的模型参数量 化装置， 其特 征在于， 包括： 获取模块， 用于获取数字分类任务的数据集； 其中， 所述数据集包含数字图像和对应的权　利　要　求　书 1/2 页 2 CN 114444686 A 2数字标签； 构建模块， 用于构建数字分类任务的卷积神经网络； 其中， 所述卷积神经网络包括浮点 卷积层、 量 化卷积层、 池化层、 归一 化层、 非线性层、 全连接层、 分类层和损失计算层； 第一量化模块， 用于在所述量化卷积层的前向传播过程中， 基于符号函数量化模型参 数； 其中， 所述模型参数包括权 重和激活值； 第二量化模块， 用于在所述量化卷积层的反向传播过程中， 基于双曲正切函数量化所 述模型参数； 其中， 所述双曲正切 函数中的参数基于所述量化卷积层的模型参数 的分布确 定； 训练模块， 用于利用所述数据集训练所述卷积神经网络， 训练完成的卷积神经网络用 于执行数字分类任务。 9.一种电子设备， 其特 征在于， 包括： 存储器， 用于存 储计算机程序； 处理器， 用于执行所述计算机程序时实现如权利要求1至7任一项所述卷积神经网络的 模型参数量 化方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器执行时实现如权利要求 1至7任一项 所述卷积神经网络的模 型参数量 化方法的步骤。权　利　要　求　书 2/2 页 3 CN 114444686 A 3