(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211295480.X (22)申请日 2022.10.21 (71)申请人 科大讯飞股份有限公司 地址 230088 安徽省合肥市高新 开发区望 江西路666号 (72)发明人 方雷　赵彬　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 程琛 (51)Int.Cl. G06F 9/50(2006.01) (54)发明名称 模型部署、 运行方法、 装置、 离线分析工具和 电子设备 (57)摘要 本发明提供一种模 型部署、 运行方法、 装置、 离线分析工具和电子设备， 其中方法包括： 获取 目标模型的计算图； 对计算图进行拓扑排序和推 导， 得到计算图中各节点的执行信息和上下节点 信息； 基于目标设备的硬件信息， 以及各节点的 执行信息和上下节点信息， 进行硬件适配， 得到 各节点的硬件适配信息； 基于各节点的执行信 息、 上下节点信息和硬件适配信息， 生成目标模 型对应的序列化资源； 将序列化资源传输至目标 设备， 以使目标设备基于序列化 资源部署目标模 型。 本发明提供的方法、 装置、 工具和设备， 使得 目标设备可以直接应用为自身定制的、 可直接运 行的序列化 资源实现模型部署， 减 轻了时间和人 力成本的消耗， 降低了针对目标模 型部署的硬件 门槛。 权利要求书3页 说明书13页 附图4页 CN 115525436 A 2022.12.27 CN 115525436 A 1.一种模型部署方法， 其特 征在于， 包括： 获取目标模型的计算图； 对所述计算图进行拓扑排序和推导， 得到所述计算图中各节点的执行信 息和上下节点 信息； 基于目标设备的硬件信息， 以及所述各节点的执行信息和上下节点信息， 进行硬件适 配， 得到所述各节点的硬件适配信息； 基于所述各节点的执行信息、 上下节点信息和硬件适配信息， 生成所述目标模型对应 的序列化资源； 将所述序列化资源传输至所述目标设备， 以使所述目标设备基于所述序列化资源部署 所述目标模型。 2.根据权利要求1所述的模型部署方法， 其特征在于， 所述基于目标设备的硬件信息， 以及所述各节点的执行信息和上下节点信息， 进行硬件适配， 得到所述各节点的硬件适配 信息， 包括： 基于所述目标设备的硬件信 息中的处理器信 息以及存储器信 息， 以及所述各节点的执 行信息和上下节点信息， 为所述各节点分别配置所述 目标设备的处理资源和存储空间， 得 到所述各节点的硬件适配信息 。 3.根据权利要求2所述的模型部署方法， 其特征在于， 所述基于所述目标设备的硬件信 息中的处理器信息以及存储器信息， 以及所述各节点的执行信息和上下节点信息， 为所述 各节点分别配置所述 目标设备 的处理资源和存储空间， 得到所述各节点的硬件适配信息， 包括： 模拟所述计算图的计算过程， 得到所述计算图中逐个节点计算所需的内存块大小和内 存块生命周期； 基于所述存储器信 息， 以及所述计算图中逐个节点计算所需的内存块大小和内存块生 命周期， 通过内存分配算法为所述各节点分别配置所述目标设备的存储空间和有效时间 段， 得到所述各节点的硬件适配信息中的存 储空间适配信息 。 4.根据权利要求3所述的模型部署方法， 其特征在于， 在所述得到所述各节点的硬件适 配信息中的存 储空间适配信息之后， 还 包括： 基于所述各节点的存储空间适配信 息， 生成在所述目标设备上部署所述目标模型的内 存分析和预分配报告， 并在基于所述各节点的存储空间适配信息确定所述目标模型与所述 目标设备不 适配的情况 下， 生成模型 结构调整提 示。 5.根据权利要求1至4中任一项所述的模型部署方法， 其特征在于， 所述对所述计算图 进行拓扑排序和推导， 得到所述计算图中各节点的执 行信息和上 下节点信息， 包括： 对所述计算图进行图优化， 得到优化计算图； 对所述优化计算图进行拓扑排序和推导， 得到所述优化计算图中各节点的执行信 息和 上下节点信息 。 6.根据权利要求1至4中任一项所述的模型部署方法， 其特征在于， 在所述基于目标设 备的硬件信息， 以及所述各节点的执 行信息和上 下节点信息， 进行硬件适配之后， 还 包括： 在基于硬件适配得到所述目标模型的硬件冲突信 息的情况下， 基于所述硬件冲突信 息 生成适配冲突 提示。权　利　要　求　书 1/3 页 2 CN 115525436 A 27.一种模型运行 方法， 其特 征在于， 包括： 获取目标输入； 基于序列化资源， 调用本地硬件执行以所述目标输入作为输入数据的目标模型计算， 得到目标输出； 所述序列化资源是离线分析工具基于所述目标模型的计算图中各节点的执行信 息、 上 下节点信息和硬件适配信息生成的， 所述硬件适配信息基于所述各节点的执行信息、 上下 节点信息以及所述本地硬件对应的硬件信息确定， 所述执行信息和上下节点信息是对所述 计算图进行拓扑排序和推导得到的。 8.一种模型部署装置， 其特 征在于， 包括： 计算图获取 单元， 用于获取目标模型的计算图； 模拟执行单元， 用于对所述计算图进行拓扑排序和推导， 得到所述计算图中各节点的 输入输出信息； 硬件适配单元， 用于基于目标设备的硬件信息， 以及所述各节点的执行信息和上下节 点信息， 进行硬件适配， 得到所述各节点的硬件适配信息； 序列化单元， 用于基于所述各节点的执行信 息、 上下节点信 息和硬件适配信息， 生成所 述目标模型对应的序列化资源； 部署单元， 用于将所述序列化资源传输至所述目标设备， 以使所述目标设备基于所述 序列化资源部署所述目标模型。 9.一种模型运行装置， 其特 征在于， 包括： 输入获取 单元， 用于获取目标输入； 序列化运行单元， 用于基于序列化资源， 调用本地硬件执行以所述目标输入作为输入 数据的目标模型计算， 得到目标输出； 所述序列化资源是离线分析工具基于所述目标模型的计算图中各节点的执行信 息、 上 下节点信息和硬件适配信息生成的， 所述硬件适配信息基于所述各节点的执行信息和上下 节点信息以及所述本地硬件对应的硬件信息确定， 所述执行信息和上下节点信息是对所述 计算图进行拓扑排序和推导得到的。 10.一种离线分析工具， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器 上运行的计算机程序， 其特 征在于： 所述处理器执行所述程序时以获取目标模型的计算图； 对所述计算图进行拓扑排序和推导， 得到所述计算图中各节点的执行信 息和上下节点 信息； 基于目标设备的硬件信息， 以及所述各节点的执行信息和上下节点信息， 进行硬件适 配， 得到所述各节点的硬件适配信息； 基于所述各节点的执行信息、 上下节点信息和硬件适配信息， 生成所述目标模型对应 的序列化资源， 所述序列化资源用于供 所述目标设备部署所述目标模型。 11.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特 征在于： 所述处理器执行所述程序时以获取目标输入； 基于序列化资源， 调用所述存储器和所述处理器执行以所述目标输入作为输入数据的权　利　要　求　书 2/3 页 3 CN 115525436 A 3