(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111151286.X (22)申请日 2021.09.2 9 (71)申请人 苏州浪潮智能科技有限公司 地址 215100 江苏省苏州市吴中区吴中经 济开发区郭巷街道官浦路1号9幢 (72)发明人 王超　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 代理人 薛娇 (51)Int.Cl. G06F 30/27(2020.01) G06F 30/25(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 111/06(2020.01) (54)发明名称 深度学习应用的超参数优化方法、 装置、 设 备及存储介质 (57)摘要 本发明公开了一种深度学习应用的超参数 优化方法、 装置、 设备及存储介质， 该方法包括： 获取多个粒子； 基于多目标优化函数计算各粒子 在目标组上的适应度值， 并删除适应度值小于适 应度阈值的粒子； 如果当前粒子数量大于数量阈 值， 则删除势能最大的N个粒子， 以使得粒子 数量 不大于数量阈值， 否则， 选择势能最小的粒子作 为引导粒子， 引导其他粒子移动； 基于粒子的移 动更新各粒子的位置， 并返回执行基于多目标优 化函数计算各粒子在目标组上的适应度值的步 骤， 直至达到预设要求为止， 确定最终保留的各 粒子均为优化所得参数数值。 本申请利用基于数 据场的多目标优化算法来寻求各项超参数与深 度学习应用的最佳组合， 有效加速深度学习部署 效率。 权利要求书2页 说明书8页 附图1页 CN 113901711 A 2022.01.07 CN 113901711 A 1.一种深度学习应用的超参数优化方法， 其特 征在于， 包括： 获取多个粒子； 单个粒子包含随机为参数组中各超参数进行随机赋值所得数值组， 所 述参数组包 含深度学习应用需配置的各项超参数； 基于多目标优化函数计算各粒子在目标组上的适应度值， 并删除适应度值小于适应度 阈值的粒子； 所述目标 组包含深度学习应用需实现的加速深度学习部署效率对应各项性能 目标； 如果当前粒子数量大于数量阈值， 则删除势能最大的N个粒子， 以使得粒子数量不大于 数量阈值， 否则， 选择势能最小的粒子作为引导粒子， 引导其他粒子移动； 任意粒子的势能 为基于该任意粒子的位置计算得到的； 基于粒子的移动更新各粒子的位置， 并返回执行基于多目标优化函数计算各粒子在目 标组上的适应度值的步骤， 直至达到预设要求为止， 确定最终保留的各粒子均为优化所得 参数数值。 2.根据权利要求1所述的方法， 其特征在于， 基于多目标优化函数计算各粒子在目标组 上的适应度值， 包括： 确定各粒子 中任意粒子为当前粒子， 基于各目标函数计算当前粒子在所述目标组中各 性能目标上 的适应度值， 并对当前粒子在各性能目标上 的适应度值进行加权求和计算， 得 到当前粒子在目标组上的适应度值。 3.根据权利要求2所述的方法， 其特 征在于， 确定当前 是否达到预设要求， 包括： 判断执行基于多目标优化函数计算各粒子在目标组上的适应度值的步骤的次数是否 达到次数阈值， 如果是， 则确定当前达 到预设要求， 否则， 确定当前 未达到预设要求。 4.根据权利要求3所述的方法， 其特 征在于， 获取多个粒子之后还 包括： 将获取的全部粒子均 作为非支配解加入至 外部解集中； 基于多目标优化 函数计算各 粒子在目标组上的适应度值， 包括： 基于多目标优化 函数计算所述外 部解集中各粒子在目标组上的适应度值； 删除相应的粒子， 包括： 从所述外 部解集中删除相应的粒子； 确定当前 粒子数量是否大于数量阈值， 包括： 确定所述外 部解集中粒子数量是否大于数量阈值。 5.根据权利要求 4所述的方法， 其特 征在于， 获取参数组， 包括： 获取深度 学习应用的配置运行信 息， 对所述配置运行信 息进行数据清洗及数据标准化 处理， 并从进行数据清洗及数据标准化处理所得的信息中抽取各项超参数组成所述参数 组。 6.根据权利要求5所述的方法， 其特征在于， 确定最终保留的各粒子均为优化所得参数 数值之后， 还 包括： 将最终保留的各 粒子输出至指定终端。 7.根据权利要求6所述的方法， 其特征在于， 所述超参数包括算法模型种类、 数据集种 类、 框架种类、 训练方式、 GPU数量、 CPU数量、 存储类型及网络类型， 所述性能目标包括最短 训练运行时间、 最高资源利用率及最高网络带宽效率。 8.一种深度学习应用的超参数优化装置， 其特 征在于， 包括：权　利　要　求　书 1/2 页 2 CN 113901711 A 2获取模块， 用于： 获取多个粒子； 单个粒子包含随机为参数组中各超参数进行随机赋值 所得数值组， 所述 参数组包 含深度学习应用需配置的各项超参数； 删除模块， 用于： 基于多目标优化函数计算各粒子在目标组上的适应度值， 并删除适应 度值小于适应度阈值的粒子； 所述目标 组包含深度学习应用需实现的加速深度学习部署效 率对应各项性能目标； 判断模块， 用于： 如果当前粒子数量大于数量阈值， 则删除势能最大的N个粒子， 以使得 粒子数量不大于数量阈值， 否则， 选择势能最小的粒子作为引导粒子， 引导其他粒子移动； 任意粒子的势能为基于该任意粒子的位置计算得到的； 迭代模块， 用于： 基于粒子的移动更新各粒子的位置， 并指示所述删除模块执行基于多 目标优化函数计算各粒子在目标组上 的适应度值的步骤， 直至达到预设要求为止， 确定最 终保留的各 粒子均为优化所 得参数数值。 9.一种深度学习应用的超参数优化设备， 其特 征在于， 包括： 存储器， 用于存 储计算机程序； 处理器， 用于执行所述计算机程序时实现如权利要求1至7任一项所述深度学习应用的 超参数优化方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器执行时实现如权利要求 1至7任一项 所述深度学习应用的超 参数优化方法的步骤。权　利　要　求　书 2/2 页 3 CN 113901711 A 3