(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111622946.8 (22)申请日 2021.12.28 (71)申请人 江苏银承网络科技股份有限公司 地址 210000 江苏省南京市江北新区丽景 路2号研发大厦A座10层 (72)发明人 孟恒　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 代理人 徐丽 (51)Int.Cl. G06Q 10/10(2012.01) G06Q 10/06(2012.01) G06F 16/25(2019.01) (54)发明名称 同城大数据调度系统 (57)摘要 本发明提供了一种同城 大数据调度系统， 该 系统基于 escheduler调度系统进行二次开发， 新 增操作日志服务， 通过操作日志定位到具体的操 作用户， 提高了问题的排查效率； 新增hostname 注册Zookeeper模块的临时节点， 避免因执行机 器重启导致IP改变需要重新配置的问题； 新增工 作流状态 监听模块， 对系统工作流进行监听并在 重要工作流忘记上线时， 发送告警信息对用户进 行提醒， 保证工作流内调度任务的有序进行； 最 后， 新增资源使用率报警模块， 当资源使用率达 到阈值时发送告警信息提醒用户调整， 保证系统 的稳定性， 其中， 上述告警信息通过集成钉钉告 警发送至用户钉 钉群组。 权利要求书2页 说明书9页 附图4页 CN 114331352 A 2022.04.12 CN 114331352 A 1.一种同城大数据调度系统， 其特征在于， 包括： UI模块、 Master模块、 至少一个Worker 模块、 Zookeeper模块、 工作流状态监听模块、 数据库模块、 钉 钉模块； 所述UI模块， 用于获取用户的操作指令， 并根据所述操作指令生成操作任务， 其中， 所 述操作任务包括： 工作流操作任务、 任务操作任务、 工作组操作任务、 用户权限操作任务； 所述Master模块， 用于发送所述操作任务的数据至所述数据库模块， 并配置所述任务 操作任务的定时触发， 当所述任务操作任务触发后启动监听服务、 操作日志服务和告警服 务， 其中， 触发后的任务操作任务发送至所述Zo okeeper模块的任务队列； 所述Worker模块， 用于获取所述任务队列中的任务操作任务、 执行任务操作任务并启 动执行日志服 务， 以监控所述任务操作任务的执 行进度； 所述Zookeeper模块， 用于注册并存储所述Master模块的hostname或IP， 并用于注册并 存储所述Worker模块的hostname或IP； 所述工作流状态监听模块， 用于监听所述数据库模块内的所述工作流操作任务的状 态， 并根据所述工作流操作任务的状态发送告警至所述钉 钉模块； 所述数据库模块， 还用于存 储整个系统的数据； 所述钉钉模块， 用于 接收并发送告警信息 至用户钉 钉。 2.根据权利要求1所述的同城大数据调度系统， 其特征在于， 所述用户权限操作任务中 的用户权限包括： 管理员权限和普通用户权限， 所述管理员权限包括： 授权权限和用户管 理 权限， 所述普通用户权限包括： 创建工作流操作任务的权限、 创建任务操作任务的权限、 创 建工作组操作任务的权限， 其中， 所述普通用户权限对应的用户具有固定的token， 所述 token为用户钉 钉群组的识别码。 3.根据权利要求1所述的同城大数据调度系统， 其特征在于， 所述Master模块包括： APIServer单 元、 MasterServer单 元、 AlterServer单 元和第一 LoggerServer单 元； 所述APIServer单元， 用于将所述UI模块生成的所述操作任务的数据发送至所述数据 库模块， 并返回对应数据至所述UI模块； 所述MasterServer单元， 用于注册所述Master模块的hostname或IP至所述Zookeeper 模块、 定时触发所述任务操作任务、 添加所述任务操作任务至所述任务对队列、 监听所述数 据库模块内的任务状态； 所述AlterServer单 元， 用于根据监听结果发送任务告警至所述钉 钉模块； 所述第一LoggerServer单元， 用于用户查看所述任务操作任务的执行日志， 并将用户 的操作日志写入所述数据库模块。 4.根据权利要求3所述的同城大数据调度系 统， 其特征在于， 所述Worker模块还包括： WorkerServer单 元、 第二LoggerServer单 元、 存储单元； 所述WorkerServer单元， 用于注册所述Worker模块的hostname或IP至所述Zookeeper 模块、 获取所述任务队列中的任务操作任务并执行、 更新任务操作任务的状态至所述数据 库模块； 所述第二LoggerServer单元， 用于返回所述任务操作任务的执行日志到所述存储单 元； 所述存储单元， 用于存 储所述执 行日志。 5.根据权利要求1所述的同城大数据调度系统， 其特征在于， 所述任务队列包括： 至少权　利　要　求　书 1/2 页 2 CN 114331352 A 2一个携带任务名称和标识的任务操作任务， 其中， 所述标识包括： hostname或IP， 所述 hostname或IP用于匹配所述 Worker模块， 以使对应的W orker模块执 行所述任务操作任务。 6.根据权利要求3所述的同城大数据调度系统， 其特征在于， 所述任务状态包括以下任 一种： 待运行状态、 失败状态、 运行中状态、 完成状态。 7.根据权利要求4所述的同城大数据调度系统， 其特征在于， 在用户查看所述任务操作 任务的执行日志之前， 所述Master模块内的第一LoggerServer单元链接所述Wor ker模块内 的第二LoggerServer单 元。 8.根据权利要求1所述的同城大数据调度系统， 其特征在于， 所述工作流操作任务状态 包括以下任一种： 上线状态、 下线状态。 9.根据权利要求3所述的同城大数据调度系统， 其特征在于， 所述任务告警包括： 任务 状态的提 示信息。 10.根据权利要求3所述的同城大数据调度系统， 其特征在于， 所述系统还包括： 资源使 用率报警模块； 所述资源使用率报警模块， 用于在所述系统的资源使用率达到预设阈值时， 发送告警 信息至所述钉 钉模块。权　利　要　求　书 2/2 页 3 CN 114331352 A 3