(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210912229.7 (22)申请日 2022.07.29 (71)申请人 浙江网安信创电子技 术有限公司 地址 315000 浙江省宁波市海曙区丽园南 路501号609-611/613-615室 (72)发明人 赵晶骉　周杨　陈锡幸　王淳　 谢作樟　 (74)专利代理 机构 杭州奇炬知识产权代理事务 所(特殊普通 合伙) 33393 专利代理师 贺心韬 (51)Int.Cl. G06F 9/48(2006.01) G06F 9/50(2006.01) G06F 16/25(2019.01) G06F 16/27(2019.01) (54)发明名称 一种支持流批一体的大数据引擎分布式任 务调度方法 (57)摘要 本发明公开了一种支持流批一体的大数据 引擎分布式任务调度方法， 具体涉及计算机领 域， 包括S1、 多集群接入管理； S2、 构建工作流DAG 流程； S3、 工作流实例回溯与控制和S4、 作业实例 数据处理反馈结果审计。 本发明使数据开发人员 可以通过可视化操作接入多个集群， 实现任务分 布式调度， 合理并充分使用大数据资源； 通过拖 拽连线多个作业组件构建DAG工作流， 合并数据 处理任务， 执行统一的ETL周期调度； 留存工作流 执行的DAG流程实例， 基于工作流实例实现DAG流 程的重跑、 暂停、 停 止、 恢复失败、 恢复暂停、 恢复 停止等重新部署的动态化控制； 留存作业的实 例， 直观表现大数据任务的反馈结果， 便于数据 开发者排查异常程序或任务。 权利要求书2页 说明书6页 CN 115328626 A 2022.11.11 CN 115328626 A 1.一种支持流批一体的大数据引 擎分布式任务调度方法， 其特征在于： 具体的调度步 骤如下： S1、 多集群接入管理： 通过配置hdfs ‑site、 yarn ‑site或flink ‑site的参数实现多集群的资源接入， 作业调 度时指定集群执 行； 用户可根据自身情况将多个集群分为开发环境、 测试环境、 试运行环境、 生产环境， 在 部署程序时指定哪个环境 运行； 当集群资源不足时， 可在部署程序时指定其 他资源较为充分的集群运行； S2、 构建工作流DAG流程： 通过工作 流以可视化拖拽组件、 连线的方式， 对多个数据处理 的作业/任务进行合并， 实现工作流DAG流 程的构建； S3、 工作流实例回溯与控制： 基于工作流实例对ETL数据处理的DAG流程实例永久留存， 工作流实例产生自工作流的调度执 行， 记录某时某刻工作流 运行的DAG流 程实例； S3.1、 工作流实例编辑： 工作流实例编辑应用于DAG流程执行失败、 停止、 暂停、 结束时 的优化与修正， 编辑对 象是已终止的工作流实例， 保存时分为将修改的作业同步至原先 的 工作流中和不同步到原先的工作流两种情况； S3.2、 工作流实例重跑： 工作流实例重跑应用于DAG流程已终止的工作流实例， 重跑对 象是完整的DAG流程作业节点， 即使成功执行的作业节 点也要重新执行， 重跑时工作流 实例 不变但重新 生成新的作业实例， 正在运行的工作流实例不能执 行重跑操作； S3.3、 工作流实例停止： 工作流实例停止应用于DAG流程正在运行的工作流实例， 对正 在运行的工作流实例执 行停止操作； S3.4、 工作流实例暂停： 工作流实例暂停应用于DAG流程正在运行的工作流实例， 对正 在运行的工作流实例执 行暂停操作； S3.5、 工作 流实例恢复失败： 工作 流实例恢复失败应用于DAG流程执行失败的工作流实 例， 是对执 行失败的工作流实例进行优化、 修 正后的重新部署； S3.6、 工作流实例恢复停止： 工作流实例恢复停止应用于DAG流程停止的工作流实例， 对停止的工作流实例进行重新部署； S3.7、 工作流实例恢复暂停： 工作流实例恢复暂停应用于DAG流程暂停的工作流实例， 对暂停的工作流实例进行重新部署； S4、 作业实例数据处理反馈结果审计： 作业实例由工作流中的作业调度执行产生， 永久 留存数据 处理的实例， 是大数据任务调度反馈结果的直观表现， 数据开发者可通过该功 能 排查异常任务。 2.根据权利要求1所述的一种支持流批一体的大数据引擎分布式任务调度方法， 其特 征在于： 所述步骤S1中多集群接入管理的功能除了集群的分布式调度管理外， 还可对接入 平台的HDFS集群、 YARN集群资源进行 实时监控， 包 括NameNode、 DataNode、 Resourc eManager 和NodeManager的节点信息 。 3.根据权利要求1所述的一种支持流批一体的大数据引擎分布式任务调度方法， 其特 征在于： 所述步骤S2中的作业(数据处理的任务)是以基于YARN集群 资源计算的大数据任务 为主， 包括但不限于Flink程序、 Spark程序、 Hive程序、 HBase程序和Kylin的主流大数据技 术。权　利　要　求　书 1/2 页 2 CN 115328626 A 24.根据权利要求1所述的一种支持流批一体的大数据引擎分布式任务调度方法， 其特 征在于： 所述 步骤S3.1中： 同步至原先的工作流： 本次工作流DAG流程实例与工作流DAG流程保持一致， 后续的工 作流周期调度延用编辑后的DAG流 程； 不同步至原先的工作流： 本次工作流DAG流程与工作流DAG流程不一致， 后续的工作流 周期调度延用编辑前的DAG流 程。 5.根据权利要求1所述的一种支持流批一体的大数据引擎分布式任务调度方法， 其特 征在于： 所述步骤S3.2中工作流实例重跑常用场景是首次DAG流程处理全量数据， 后续的 DAG流程处理增量数据。 6.根据权利要求1所述的一种支持流批一体的大数据引擎分布式任务调度方法， 其特 征在于： 所述步骤S 3.3中执行停止逻辑是当前作业节 点继续执行， 执行结束之后， 后续作业 节点取消执 行； 工作流实例停止的应用场景是数据开发者发现程序存在异常时对其所在的DAG流程及 时阻断， 避免耗费资源和时间， 工作流实例停止之后， 数据开发者可编辑优化与修正DAG流 程。 7.根据权利要求1所述的一种支持流批一体的大数据引擎分布式任务调度方法， 其特 征在于： 所述步骤S3.5中恢复逻辑是从失败的作业节点开始执行， 恢复失败时工作流实例 不变但重新生成新的作业 实例； 已成功的离线作业和正运行的实时作业不生成新的工作流 实例； 工作流实例恢复失败的应用场景是DAG流程程序异常导致工作流执行失败， 数据开发 者编辑优化与修 正DAG流程之后， 对其重新部署。 8.根据权利要求1所述的一种支持流批一体的大数据引擎分布式任务调度方法， 其特 征在于： 步骤S3.7中恢复逻辑是从暂停的作业节点开始执行， 被取消的实时作业和未运行 的作业重新 生成新的作业实例； 工作流实例恢 复暂停的应用场景与工作流实例恢 复停止类似， 是数据开发者发现程序 存在异常时及时阻断DAG流程的动态化控制操作， 数据开发者编辑优化与修正DAG流程之 后， 对其重新部署。权　利　要　求　书 2/2 页 3 CN 115328626 A 3