(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211315013.9 (22)申请日 2022.10.26 (71)申请人 北京云迹科技股份有限公司 地址 100089 北京市海淀区北四环西路67 号7层702室 (72)发明人 曲昱汇　张献涛　支涛　 (74)专利代理 机构 北京嘉科知识产权代理事务 所(特殊普通 合伙) 11687 专利代理师 陈美君 (51)Int.Cl. G06F 9/50(2006.01) (54)发明名称 基于CPU和GPU混合计算的在线服务方法及 装置 (57)摘要 本申请提供一种基于CPU和GPU混合计算的 在线服务方法及装置。 该方法包括： 将接收到的 在线业务请求添加到缓存队列中； 根据定时任务 或者触发事件， 选择计算组件对缓存队列中的在 线业务请求进行异步处理， 其中， 计算组件包括 CPU和GPU； 在调用计算组件对在线 业务请求进行 异步处理过程中， 依据缓存队列中的在线业务请 求的数量以及计算组件的平均计算耗时， 确定每 个计算组件对应的权重； 依据每个计算组件对应 的权重， 动态调用CPU或者GPU执行在线业务请 求， 并将在线业务请求对应的业务结果存储到业 务结果集合中， 业务结果集合中包含在线业务请 求的标识信息以及与标识信息对应的业务结果 信息。 本申请提升了在线计算服务的计算效率， 提高了硬件资源的利用率。 权利要求书2页 说明书9页 附图2页 CN 115391053 A 2022.11.25 CN 115391053 A 1.一种基于 CPU和GPU混合计算的在线服 务方法， 其特 征在于， 包括： 接收在线业 务请求， 将所述在线业 务请求添加到缓存队列中； 根据预设的定时任务或者触发事件， 选择一个计算组件对所述缓存队列中的在线业务 请求进行异步处 理， 其中， 所述计算组件 包括CPU和GPU； 在调用所述计算组件对所述在线业务请求进行异步处理过程中， 依据 所述缓存队列中 的在线业务请求的数量以及所述计算组件的平均计算耗时， 确定每个所述计算组件对应的 权重； 依据每个所述计算组件对应的权重， 动态调用CPU或者GPU执行在线业务请求， 并将所 述在线业务请求对应的业务结果存储到业务结果集合中， 其中， 所述业务结果集合中包含 所述在线业 务请求的标识信息以及与所述标识信息对应的业 务结果信息 。 2.根据权利要求1所述的方法， 其特征在于， 所述接收在线业务请求， 将所述在线业务 请求添加到缓存队列中， 包括： 接收云平台发送的原始图片数据对应的字符串， 根据所述字符串生成所述在线业务请 求， 并将所述在线业 务请求按照时间顺序加入到所述缓存队列中去； 其中， 所述字符串为机器人根据机器人舱内接收到的物品生成原始图片数据， 并将所 述原始图片数据发送至所述云平台， 以使 所述云平台对所述原始图片数据进 行编码处理得 到的字符串。 3.根据权利要求1所述的方法， 其特征在于， 根据定时任务选择一个计算组件对所述缓 存队列中的在线业 务请求进行异步处 理， 包括： 按照预设的定时任务执行时间间隔， 将所述定时任务执行时间间隔内添加到所述缓存 队列中的所述在线业务请求发送给GPU进行批量执行， 或者将所述在线业务请求依 次发送 给CPU进行循环执 行。 4.根据权利要求1所述的方法， 其特征在于， 根据触发事件选择一个计算组件对所述缓 存队列中的在线业 务请求进行异步处 理， 包括： 当所述缓存队列中的在线业务请求对应的请求数量达到数量阈值 时， 将所述缓存队列 中的所述在 线业务请求发送给GPU进行批量执行， 或者将所述在线业务请求依次发送给CPU 进行循环执 行； 或者， 当CPU和GPU中的任意一个计算组件处于空间状态时， 将所述缓存队列中的所述 在线业务请求发送给 所述空间状态的计算组件进行 执行。 5.根据权利 要求3或4所述的方法， 其特征在于， 当CPU和GPU均处于空间状态时， 采用以 下公式对每 个所述计算组件 对应的权 重进行计算： 其中， 表示CPU对应 的权重， 表示GPU对应 的权重， 表示缓权　利　要　求　书 1/2 页 2 CN 115391053 A 2存队列中的在线业务请求， 表示当前GPU并行计算的任务能力， 表示CPU在过 去时间段内平均执行一次在线业务请求的计算耗时， 表示GPU在过去时间段内 平均执行一次在线业 务请求的计算 耗时。 6.根据权利要求5所述的方法， 其特征在于， 依据每个所述计算组件对应的权重， 动态 调用CPU或者GPU执 行在线业 务请求， 包括： 当所述在线业务请求的请求数量低于预设阈值 时， 选择调用平均计算耗 时低的计算组 件执行所述在线业 务请求； 当所述在线业务请求的请求数量高于所述当前GPU并行计算的任务能力时， 选择调用 GPU执行所述在线业 务请求； 当CPU的平均计算耗时低于GPU的平均计算耗时， 所述缓存队列中的在线业务请求的请 求数量低于预设阈值， 且CPU当前处于空 闲状态时， 选择调用CPU执 行所述在线业 务请求； 当所述缓存队列中的在线业务请求使用CPU进行循环执行时的预计耗时大于使用GPU 进行批量执 行时的预计耗时， 选择调用GPU执 行所述在线业 务请求。 7.根据权利要求1所述的方法， 其特征在于， 所述将所述在线业务请求对应的业务结果 存储到业务结果集合中， 包括： 当所述在线业务请求执行完成之后， 将所述在线业务请求对应的标识信 息以及业务结 果信息缓存到所述业务结果集合中， 当接 收到具有相同标识信息的在线业务请求之后， 将 所述业务结果集合中预先缓存的所述标识信息对应的业 务结果信息发送给在线服 务器。 8.一种基于 CPU和GPU混合计算的在线服 务装置， 其特 征在于， 包括： 接收模块， 被 配置为接收在线业 务请求， 将所述在线业 务请求添加到缓存队列中； 处理模块， 被配置为根据预设的定时任务或者触发事件， 选择一个计算组件对所述缓 存队列中的在线业 务请求进行异步处 理， 其中， 所述计算组件 包括CPU和GPU； 计算模块， 被配置为在调用所述计算组件对所述在线业务请求进行异步处理过程中， 依据所述缓存队列中的在线业务请求的数量以及所述计算组件的平均计算耗时， 确定每个 所述计算组件 对应的权 重； 调用模块， 被配置为依据每个所述计算组件对应的权重， 动态调用CPU或者GPU执行在 线业务请求， 并将所述在 线业务请求对应的业务结果存储到业务结果集合中， 其中， 所述业 务结果集合中包含所述在线业务请求的标识信息以及与所述标识信息对应的业务结果信 息。 9.一种电子设备， 包括存储器， 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 所述处 理器执行所述程序时实现权利要求1至7中任一项所述的方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处 理器执行时实现如权利要求1至7中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115391053 A 3