说明:收录25万 73个行业的国家标准 支持批量下载
文库搜索
切换导航
文件分类
频道
联系我们
问题反馈
文件分类
联系我们
问题反馈
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211247352.8 (22)申请日 2022.10.12 (71)申请人 中国银行股份有限公司 地址 100818 北京市西城区复兴门内大街1 号 (72)发明人 李杨帆 (74)专利代理 机构 北京三友知识产权代理有限 公司 11127 专利代理师 郝博 陶海萍 (51)Int.Cl. G06F 16/25(2019.01) G06F 16/27(2019.01) G06F 16/28(2019.01) (54)发明名称 企业级数据管理系统及方法 (57)摘要 本发明提供了一种企业级数据管理系统及 方法, 可用于分布式技术领域, 该系统包括: 数据 采集模块, 用于接收多个数据源服务器通过数据 接口上传的源数据; 解析源数据获得读取数据; 数据转换模块, 用于基于给定范式规范, 将读取 数据转换为不同的物理结构数据; 数据分析模 块, 用于采用基于Sp ringBatch构建的任 务流程, 对物理结构数据进行处理, 获得分析结果数据; 数据存储模块, 用于基于分析结果数据和物理结 构数据的数据存储类型, 存储至不同的客户端服 务器; 数据服务模块, 用于在接收到用户的服务 申请后, 通过服务申请类型对应的数据接口, 输 出服务申请类型对应的分析结果数据和/或物理 结构数据。 本发 明可以为企业建立集中式数据服 务。 权利要求书3页 说明书7页 附图3页 CN 115544142 A 2022.12.30 CN 115544142 A 1.一种企业级数据管理系统, 其特征在于, 包括: 采用Spring Cloud框架结合的数据采 集模块、 数据转换模块、 数据分析模块、 数据存 储模块和数据服 务模块, 其中, 数据采集模块, 用于接收多个数据源服务器通过数据采集模块的数据接口上传的源数 据; 解析源数据获得读取 数据; 数据转换模块, 用于基于给定范式规范, 将 读取数据转换为 不同的物理结构数据; 数据分析模块, 用于采用基于SpringBatch构 建的任务流程, 对不同的物理结构数据进 行处理, 获得分析 结果数据; 数据存储模块, 用于基于分析结果数据和物理结构数据的数据存储类型, 存储至不同 的客户端服 务器; 数据服务模块, 用于在接收到用户的服务申请后, 按照服务申请类型, 通过服务申请类 型对应的数据接口, 输出服 务申请类型对应的分析 结果数据和/或物理结构数据。 2.如权利要求1所述的系统, 其特征在于, 数据采集模块集成多个数据源服务器对应的 数据读取插 件; 所述数据采集模块采用每个数据源服务器对应的数据读取插件, 解析源数据获得读取 数据。 3.如权利要求2所述的系统, 其特征在于, 数据采集模块采用Spring Data技术集成多 个数据源服 务器对应的数据读取插 件; 所述数据读取插 件为JDBC、 Hado op、 kafka和文件导入中的其中一种或任意组合。 4.如权利要求1所述的系统, 其特 征在于, 数据转换模块具体用于: 基于给定范式规范, 将 读取数据转换为逻辑结构数据; 根据数据存储类型, 将逻辑结构数据转换为物理结构数据, 所述物理结构数据包括数 据库结构数据、 流式数据、 HDFS数据和文件数据。 5.如权利要求1所述的系统, 其特 征在于, 数据转换模块还用于: 在将逻辑结构数据转换为物 理结构数据之后, 生成物理结构数据对应的企业级数据字 典。 6.如权利要求1所述的系统, 其特 征在于, 数据分析模块具体用于: 基于SpringBatch构建的任务流程是采用SpringB atch, 根据数据的分类和用途, 构建 的数据处 理任务的流 程。 7.如权利 要求4所述的系统, 其特征在于, 数据库服务器包括数据库服务器、 redis服务 器、 流式数据库服 务器、 Hbase服 务器和文件服 务器; 数据存储模块具体用于: 将分析结果数据和数据库结构数据存 储至数据库服 务器; 将流式数据存 储至redis服 务器或流式数据库服 务器; 将HDFS数据存 储至Hbase服务器; 将文件数据存 储至文件服 务器。 8.如权利要求1所述的系统, 其特 征在于, 每 个客户端服 务器配置有Rib bon负载均衡。 9.如权利要求1所述的系统, 其特征在于, 服务申请类型对应的数据接口包括HTTP服务 接口、 Freign 服务接口、 RestTemplate服 务接口、 SOCKET服 务接口。 10.如权利要求5所述的系统, 其特征在于, 数据服务模块还用于: 输出服务申请类型对权 利 要 求 书 1/3 页 2 CN 115544142 A 2应的物理结构数据的企业级数据字典。 11.如权利要求1所述的系统, 其特 征在于, 数据服 务模块还用于: 在确定用户具有服务申请类型的访问权限后, 输出服务申请类型对应的分析结果数据 和/或物理结构数据。 12.如权利要求1所述的系统, 其特 征在于, 还 包括监控模块, 用于: 监控数据的当前状态; 收集所述系统执 行的日志; 监控所述系统的处 理性能。 13.一种企业级数据 管理方法, 应用于权利要求1至12任一项所述的系统, 其特征在于, 包括: 接收多个数据源服 务器通过 数据接口上传的源数据; 解析源数据获得读取 数据; 基于给定范式规范, 将 读取数据转换为 不同的物理结构数据; 采用基于Sprin gBatch构 建的任务流程, 对不同的物理结构数据进行处理, 获得分析结 果数据; 基于分析 结果数据和物理结构数据的数据存 储类型, 存 储至不同的客户端服 务器; 在接收到用户的服务申请后, 按照服务申请类型, 通过服务申请类型对应的数据接口, 输出服务申请类型对应的分析 结果数据和/或物理结构数据。 14.如权利要求13所述的方法, 其特 征在于, 还 包括: 采用每个数据源服 务器对应的数据读取插 件, 解析源数据获得读取 数据。 15.如权利要求14所述的方法, 其特征在于, 多个数据源服务器对应的数据读取插件是 采用Spri ng Data技术集成的; 所述数据读取插 件为JDBC、 Hado op、 kafka和文件导入中的其中一种或任意组合。 16.如权利要求13所述的方法, 其特征在于, 基于给定范式规范, 将读取数据转换为不 同的物理结构数据, 包括: 基于给定范式规范, 将 读取数据转换为逻辑结构数据; 根据数据存储类型, 将逻辑结构数据转换为物理结构数据, 所述物理结构数据包括数 据库结构数据、 流式数据、 HDFS数据和文件数据。 17.如权利要求13所述的方法, 其特 征在于, 还 包括: 在将逻辑结构数据转换为物 理结构数据之后, 生成物理结构数据对应的企业级数据字 典。 18.如权利要求13所述的方法, 其特 征在于, 还 包括: 基于SpringBatch构建的任务流程是采用SpringB atch, 根据数据的分类和用途, 构建 的数据处 理任务的流 程。 19.如权利 要求16所述的方法, 其特征在于, 数据库服务器包括数据库服务器、 redis服 务器、 流式数据库服 务器、 Hbase服 务器和文件服 务器; 基于分析结果数据和物理结构数据的数据存储类型, 存储至不同的客户端服务器, 包 括: 将分析结果数据和数据库结构数据存 储至数据库服 务器; 将流式数据存 储至redis服 务器或流式数据库服 务器;权 利 要 求 书 2/3 页 3 CN 115544142 A 3
专利 企业级数据管理系统及方法
文档预览
中文文档
14 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
赞助2元下载(无需注册)
温馨提示:本文档共14页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2元下载
本文档由 人生无常 于
2024-03-18 00:49:53
上传分享
举报
下载
原文档
(493.6 KB)
分享
友情链接
GB T 42446-2023 信息安全技术 网络安全从业人员能力基本要求.pdf
GB-T 9694-2014 皮蛋.pdf
DB52-T 1239.1-2017 政府数据 核心元数据 第1部分:人口基础数据 贵州省.pdf
NIST SP 800-61 R2 Computer Security Incident Handling Guide 英文版.pdf
GB-T 3954-2022 电工圆铝杆.pdf
T-CAAMM 23—2018 自走式喷杆喷雾机 技术条件.pdf
GB-T 21832.2-2018 奥氏体-铁素体型双相不锈钢焊接钢管 第2部分:流体输送用管.pdf
GB-T 14603-2009 电子工业用气体 三氟化硼.pdf
GB T 17902.1-2023 信息技术 安全技术 带附录的数字签名 第1部分:概述.pdf
DB51-T 2799-2021 四川省高速公路景观及绿化设计指南 四川省.pdf
GB-T 5762-2012 建材用石灰石、生石灰和熟石灰化学分析方法.pdf
WS-T 599.1-2018 医院人财物运营管理基本数据集第1部分:医院人力资源管理.pdf
GB-T 34709-2017 硅胶通用试验方法.pdf
T-ZZB 2846—2022 车用轻型可变速电动绞盘.pdf
GB-T 17678.1-1999 CAD电子文件光盘存储、归档与档案管理要求 第一部分电子文件归档与档案管理.pdf
信通院 数据中心产业图谱研究报告.pdf
奇安信 2020网络安全投融资趋势报告.pdf
T-CCTAS 35—2022 公路水路建设工程锚杆锚固质量检测规范.pdf
GB-T 11469-2013 无线电高度表通用规范.pdf
GB-T 35973-2018 集装箱环保技术要求.pdf
交流群
-->
1
/
3
14
评价文档
赞助2元 点击下载(493.6 KB)
回到顶部
×
微信扫码支付
2
元 自动下载
官方客服微信:siduwenku
支付 完成后 如未跳转 点击这里 下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。