说明:收录25万 73个行业的国家标准 支持批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210307456.7 (22)申请日 2022.03.25 (71)申请人 上海精鲲计算机科技有限公司 地址 200438 上海市杨 浦区国权北路168 8 弄75号10楼10 01室 (72)发明人 葛丁佳  (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 郭德霞 (51)Int.Cl. G06F 16/22(2019.01) G06F 16/23(2019.01) G06F 16/25(2019.01) (54)发明名称 一种多数据流管理方法、 系统、 引擎及存储 介质 (57)摘要 本发明实施例公开了一种多数据流管理方 法、 系统、 引擎及存储介质, 该方法包括: 确定当 前数据源数据的数据结构信息; 根据所述数据结 构信息创建所述当前数据源数据的元数据库和 业务数据库; 根据所述元数据库中的元数据以及 所述当前数据源 数据对应的业务场景, 对当前数 据源数据的数据结构进行入库定义, 并将入库定 义后的当前数据源数据导入所述业务数据库。 解 决了现有多数据流管理方法无法满足实时性要 求的问题。 权利要求书2页 说明书8页 附图1页 CN 114661717 A 2022.06.24 CN 114661717 A 1.一种多数据流管理方法, 其特 征在于, 包括: 确定当前 数据源数据的数据结构信息; 根据所述数据结构信息创建所述当前 数据源数据的元 数据库和业 务数据库; 根据所述元数据库中的元数据以及所述当前数据源数据对应的业务场景, 对当前数据 源数据的数据结构进行入库定义, 并将入库定义后的当前数据源数据导入所述业务数据 库。 2.根据权利要求1所述的方法, 其特征在于, 所述提取当前数据源数据的数据 结构信息 之前, 还包括: 确定当前数据源是否为新接入的数据源, 若是, 则在数据管理层完成所述当前数据源 的初始定义。 3.根据权利要求1所述的方法, 其特征在于, 在所述根据 所述数据 结构信息创建所述当 前数据源数据的元 数据库和业 务数据库之前, 还 包括: 确定当前 数据源数据的数据结构信息; 根据所述当前数据源数据的数据结构信息以及预先定义的数据结构信息与采集方法 之间的对应关系, 确定所述当前数据源的采集方法, 并采用该采集方法采集所述当前数据 源的数据以得到当前 数据源数据; 将所述数据结构信息作为当前 数据源数据的数据结构信息 。 4.根据权利要求1所述的方法, 其特征在于, 在所述根据 所述数据 结构信息创建所述当 前数据源数据的元 数据库和业 务数据库之前, 还 包括: 确定当前 数据源数据的数据结构信息; 根据所述当前数据源数据的数据结构信 息, 当前数据源数据对应的业务场景以及预先 定义的数据结构信息 ‑业务场景 ‑采集方法之 间的对应关系, 确定所述当前数据源的采集方 法, 并采用该采集方法采集所述当前 数据源的数据以得到当前 数据源数据; 将所述数据结构信息作为当前 数据源数据的数据结构信息 。 5.根据权利要求1所述的方法, 其特征在于, 所述根据所述元数据库中的元数据以及所 述当前数据源数据对应的业 务场景, 对当前 数据源数据的数据结构进行入库定义, 包括: 确定所述当前 数据源数据对应的业 务场景所需的业 务数据结构; 根据所述元数据库中的元数据与数据管理层中其他数据源数据的元数据之间的属性 关系以及所述业务数据结构, 调整当前数据源数据的数据结构以完成当前数据源数据的入 库定义。 6.根据权利要求1所述的方法, 其特 征在于, 还 包括: 通过数据流管道实时监 听所述当前数据源数据的传输, 并在监 听到所述当前数据源数 据在任一传输节点的传输状态发生变化时, 同步当前数据源数据在每个传输节点的处理策 略。 7.根据权利要求1 ‑6任一所述的方法, 其特征在于, 所述调整当前数据源数据的数据 结 构以完成当前 数据源数据的入库定义之后, 还 包括: 如果所述业务数据结构 或入库定义后的数据 结构发生了改变, 则根据改变结果调 整采 集方法库中当前 数据源对应的数据结构信息的采集方法; 采用调整后的当前数据源数据的采集方法采集当前数据源的数据以得到当前数据源权 利 要 求 书 1/2 页 2 CN 114661717 A 2数据。 8.一种多数据流管理系统, 其特 征在于, 包括: 数据结构信息确定模块, 用于确定当前 数据源数据的数据结构信息; 数据库创建模块, 用于根据 所述数据 结构信息创建所述当前数据源数据的元数据库和 业务数据库; 数据导入模块, 用于根据所述元数据库中的元数据以及所述当前数据源数据对应的业 务场景, 对当前数据源数据的数据结构进行入库定义, 并将入库定义后的当前数据源数据 导入所述 业务数据库。 9.一种引擎, 其特 征在于, 所述引擎包括: 一个或多个处 理器; 存储装置, 用于存 储一个或多个 应用系统; 当所述一个或多个应用系统被所述一个或多个处理器执行, 使得所述一个或多个处理 器实现如权利要求1 ‑7中任一所述的一种多数据流管理方法。 10.一种包含计算机可执行指令的存储介质, 其特征在于, 所述计算机可执行指令在由 计算机处 理器执行时用于执 行如权利要求1 ‑7中任一所述的一种多数据流管理方法。权 利 要 求 书 2/2 页 3 CN 114661717 A 3

PDF文档 专利 一种多数据流管理方法、系统、引擎及存储介质

文档预览
中文文档 12 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共12页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种多数据流管理方法、系统、引擎及存储介质 第 1 页 专利 一种多数据流管理方法、系统、引擎及存储介质 第 2 页 专利 一种多数据流管理方法、系统、引擎及存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-24 00:50:10上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。