(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111627336.7 (22)申请日 2021.12.28 (71)申请人 南方电网数字电网研究院有限公司 地址 510700 广东省广州市黄埔区中新广 州知识城 亿创街1号 406房之86 (72)发明人 周旺　敖知琪　任昊文　余芸　 崔焱　陈禹旭　姜唯　 (74)专利代理 机构 华进联合专利商标代理有限 公司 44224 代理人 王天庆 (51)Int.Cl. G06Q 10/10(2012.01) G06Q 10/06(2012.01) G06Q 50/06(2012.01) G06F 16/178(2019.01)G06F 16/182(2019.01) G06F 16/27(2019.01) (54)发明名称 基于go-tensorfl ow的在线服 务提供系统 (57)摘要 本申请涉及一种基于go ‑tensorflow的在线 服务提供系统、 方法、 计算机可读存储介质和计 算机程序产品， 该系统包括执行引擎、 Redi s集群 和HDFS集群， 执行引擎从Redis集群获取在线服 务的服务模 型数据， 并解析得到在线服务调用的 多个算法模 型的模型标识， 以及对 各个算法模型 的调用路径形成的拓扑结构， 根据模型标识从 HDFS集群获取算法模型数据， 并结合拓 扑结构在 内存中搭建得到模型实例， 遍历 模型实例中的各 个算法模型， 并基于go ‑tensorflow利用协程执 行各个算法模型， 极大地提升了在线服务的性 能， 同时节约了部分的硬件资源， 为电网服务中 台的在线服 务提供了一种高效可 行的解决思路。 权利要求书2页 说明书9页 附图4页 CN 114298678 A 2022.04.08 CN 114298678 A 1.一种基于go ‑tensorflow的在线服务提供系统， 其特征在于， 所述系统包括执行引 擎、 Redis集群和HDFS集群， 所述执 行引擎包括模型 搭建模块和模型 执行模块； 所述执行引擎通过所述模型搭建模块从所述Redis集群获取在线服务的服务模型数 据， 并解析得到在线服务调用的多个算法模型 的模型标识， 以及对各个算法模型 的调用路 径形成的拓扑 结构； 所述执行引擎通过所述模型搭建模块根据模型标识从所述HDFS集群获取各个算法模 型的算法模型 数据， 并结合所述拓扑 结构在内存中搭建得到模型实例； 所述执行引擎通过所述模型执行模块遍历所述模型实例中的各个算法模型， 并基于 go‑tensorfl ow利用协程执 行各个算法模型。 2.根据权利要求1所述的系统， 其特 征在于， 所述系统还 包括配置模块： 所述配置模块， 用于获取在线服务的配置信息， 并将所述配置信息处理为预定格式的 服务模型数据同步到所述Redis集群； 其中， 在线服务的配置信 息指示所述在线服务在服务提供过程中所调用的各个算法模 型的模型 标识以及对各个算法模型的调用路径。 3.根据权利要求2所述的系统， 其特 征在于， 所述配置模块， 还用于在检测到在线服务的配置信息发生变化时， 利用更新后的配置 信息更新 服务模型数据并同步到所述Redis集群。 4.根据权利要求1所述的系统， 其特 征在于， 所述模型搭建模块包括同步单元、 实例存储单元和加载单元， 所述同步单元用于从所 述Redis集群获取在线服务的服务模型数据， 所述加载单元用于根据模型标识从所述HDFS 集群获取各个算法模型的算法模型数据， 所述实例存储单元用于存储搭建得到的模型实 例； 且所述同步单元每隔预定时间检测所述 Redis集群中的服务模型数据是否发生变化， 并 在服务模型数据发生变化时， 从所述Redis集群获取更新后的服务模型数据并搭建得到更 新后的模 型实例， 所述 实例存储 单元存储有当前正在使用的模 型实例， 以及， 临时存储有 更 新后的模型实例。 5.根据权利要求1所述的系统， 其特 征在于， 所述模型执行模块按照所述模型实例中从最顶层至最底层的顺序依次遍历， 在开始遍 历时， 确定最顶层的算法模型满足触发条件并开启一个协程执行最顶层的算法模型； 在遍 历过程中， 在执行完每一个算法模型后， 确定作为当前执行完成的算法模型 的子节点的算 法模型满足触发条件， 并开启若干个协程分别执行满足触发条件的算法模型， 且在遍历过 程中， 利用不同的协程同时执 行满足触发条件的所有算法模型。 6.根据权利要求1所述的系统， 其特征在于， 所述系统在内存中维护有一个双 向链表， 所述双向链表中的每个节点为一个模型实例， 当所述双向链表的长度大于阈值时， 删除所 述双向链 表上的若干个模型实例并将其存 储在磁盘上。 7.根据权利要求1所述的系统， 其特征在于， 所述系统还包括模型管理模块， 所述模型 管理模块用于根据修改指令执行对算法模型数据的修改操作， 修改操作包括增加、 更新和 删除； 当所述模型管理模块接 收到指示删除算法模型数据的修改指令， 且确定待删除的算 法模型数据未被在线服 务调用时， 删除所述 算法模型 数据。 8.一种基于go ‑tensorfl ow的在线服 务提供方法， 其特 征在于， 所述方法包括：权　利　要　求　书 1/2 页 2 CN 114298678 A 2从Redis集群获取在线服务的服务模型数据， 并解析得到在线服务调用的多个算法模 型的模型 标识， 以及对各个算法模型的调用路径形成的拓扑 结构； 根据模型标识从HDFS集群获取各个算法模型的算法模型数据， 并结合所述拓扑结构在 内存中搭建得到模型实例； 遍历所述模型实例中的各个算法模型， 并基于go ‑tensorflow利用协程执行各个算法 模型。 9.根据权利要求8所述的方法， 其特 征在于， 所述方法还 包括： 获取在线服务的配置信 息， 并将所述配置信 息处理为预定格式的服务模型数据同步到 所述Redis集群； 其中， 在 线服务的配置信息指示所述在线服务在服务提供过程中所调用的 各个算法模型的模型 标识以及对各个算法模型的调用路径。 10.根据权利要求9所述的方法， 其特 征在于， 所述方法还 包括： 当检测到在线服务的配置信 息发生变化 时， 利用更新后的配置信 息更新服务模型数据 并同步到所述Redis集群。 11.根据权利要求8所述的方法， 其特 征在于， 所述方法还 包括： 每隔预定时间检测所述Redis集群中的服务模型数据是否发生变化， 并在服务模型数 据发生变化时， 从所述Redis集群获取更新后的服务模型数据并搭建得到更新后的模型实 例进行临时存 储。 12.根据权利要求8所述的方法， 其特征在于， 所述遍历所述模型实例中的各个算法模 型， 并基于go ‑tensorfl ow利用协程执 行各个算法模型， 包括： 按照所述模型实例中从最顶层至最底层的顺序依次遍历， 在开始遍历时， 确定最顶层 的算法模型满足触发条件并开启一个协程执行最顶层的算法模型； 在遍历过程中， 在执行 完每一个算法模型后， 确定作为当前执行完成的算法模型的子节点的算法模型满足触发条 件， 并开启若干个协 程分别执行满足触发条件的算法模型， 且在遍历过程中， 利用不同的协 程同时执 行满足触发条件的所有算法模型。 13.根据权利要求8所述的方法， 其特征在于， 当系统的内存中维护的双向链表的长度 大于阈值时， 删除所述双向链表上 的若干个模型实例并将其存储在磁盘上， 双向链表中的 每个节点为一个模型实例。 14.根据权利要求8所述的方法， 其特 征在于， 所述方法还 包括： 根据修改指令执行对算法模型数据的修改操作， 修改操作包括增加、 更新和删除； 当所 述模型管理模块接收到指示删除算法模型数据的修改指令， 且确定待删除的算法模型数据 未被在线服 务调用时， 删除所述 算法模型 数据。权　利　要　求　书 2/2 页 3 CN 114298678 A 3