全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211143603.8 (22)申请日 2022.09.20 (71)申请人 杭州安恒信息技 术股份有限公司 地址 310000 浙江省杭州市滨江区西兴街 道联慧街18 8号 (72)发明人 蒋金阳 范渊  (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 常亮 (51)Int.Cl. G06F 3/06(2006.01) G06F 16/22(2019.01) G06F 16/245(2019.01) G06F 16/28(2019.01) (54)发明名称 一种数据管理方法、 数据分析系统、 电子设 备及存储介质 (57)摘要 本申请公开了一种数据管 理方法、 数据分析 系统、 电子设备及存储介质, 所属的技术领域为 数据存储技术。 所述数据管 理方法应用于数据分 析系统的计算节点, 所述数据分析系统还包括多 个存储节 点, 所述存储节点用于按照数据分片的 形式组织管理数据, 所述数据管理方法包括: 接 收数据操作 请求, 并为所述数据操作 请求添加ID 标识; 生成所述数据操作请求对应的执行计划; 若所述数据操作请求为数据插入请求, 则根据所 述ID标识 计算目标分片位置, 将所述执行计划发 送至所述目标分片位置所在的目标存储节点。 本 申请能够提高数据分析系统的稳定性, 实现可靠 的数据写 入。 权利要求书2页 说明书9页 附图2页 CN 115421664 A 2022.12.02 CN 115421664 A 1.一种数据 管理方法, 其特征在于, 应用于数据分析系统的计算节点, 所述数据分析系 统还包括多个存储节点, 所述存储节点用于按照数据分片的形式组织管理数据, 所述数据 管理方法包括: 接收数据操作请求, 并为所述数据操作请求添加ID标识; 生成所述数据操作请求对应的执 行计划; 若所述数据操作请求为数据插入请求, 则根据所述ID标识计算目标分片位置, 将所述 执行计划发送至所述目标分片位置所在的目标存储节点, 以便所述目标存储节点按照所述 执行计划在所述目标分片位置执 行追加写操作。 2.根据权利要求1所述数据管理方法, 其特 征在于, 还 包括: 通过Noise协议建立所述计算节点与所述存储节点的安全通道, 以便利用所述安全通 道传输交 互数据。 3.根据权利要求1所述数据管理方法, 其特征在于, 在生成所述数据操作请求对应的执 行计划之后, 还 包括: 若所述数据操作请求为数据查询请求, 则将所述执行计划发送至所有所述存储节点, 以便所有所述存 储节点按照所述执 行计划执 行对应的数据查询操作得到查询结果; 接收所述存储节点返回的查询结果, 根据 所有所述查询结果向客户端返回所述数据操 作请求的执 行结果。 4.根据权利要求3所述数据管理方法, 其特征在于, 根据 所有所述查询结果向客户端返 回所述数据操作请求的执 行结果, 包括: 对具有相同主键的执 行结果进行合并, 得到合并结果; 将写入时间最晚的合并结果设置为所述数据操作请求的执行结果, 并向所述客户端返 回所述执 行结果。 5.根据权利要求4所述数据 管理方法, 其特征在于, 在为所述数据操作请求添加ID标识 之前, 还包括: 向发号器发送分配请求, 以便所述发号器根据所述数据操作请求的接收时间生成所述 ID标识; 相应的, 在将写入时间最晚的合并结果设置为所述数据操作请求的执行结果之前, 还 包括: 根据所有所述 合并结果对应的ID标识对所有所述 合并结果的写入时间进行排序。 6.根据权利要求4所述数据管理方法, 其特征在于, 在将写入时间最晚的合并结果设置 为所述数据操作请求的执 行结果之后, 还 包括: 将所有所述合并结果中除了所述执行结果之外的合并结果设置为待删除数据, 根据 所 述待删除数据的ID标识创建删除计划, 并将所述删除计划发送至对应的存储节点中, 以便 删除所述待删除数据。 7.一种数据 管理方法, 其特征在于, 应用于数据分析系统的存储节点, 所述存储节点用 于按照数据分片的形式组织管理数据, 所述数据分析系统还包括计算节点, 所述数据管理 方法包括: 接收所述计算节点发送的执行计划; 其中, 所述计算节点发送所述执行计划的过程包 括: 接收数据操作请求, 并为所述数据操作请求添加ID标识; 生成所述数据操作请求对应的权 利 要 求 书 1/2 页 2 CN 115421664 A 2执行计划; 若 所述数据操作请求为数据插入请求, 则根据所述ID标识计算目标分片位置, 将 所述执行计划发送至所述目标分片位置所在的存 储节点; 按照所述执 行计划在所述目标分片位置执 行追加写操作。 8.一种数据 管理系统, 其特征在于, 应用于数据分析系统的计算节点, 所述数据分析系 统还包括多个存储节点, 所述存储节点用于按照数据分片的形式组织管理数据, 所述数据 管理系统包括: 标识添加单 元, 用于接收数据操作请求, 并为所述数据操作请求添加ID标识; 计划生成单 元, 用于生成所述数据操作请求对应的执 行计划; 计划发送单元, 用于若所述数据操作请求为数据插入请求, 则根据所述ID标识计算目 标分片位置, 将所述执行计划发送至所述 目标分片位置所在的目标存储节点, 以便所述 目 标存储节点按照所述执 行计划在所述目标分片位置执 行追加写操作。 9.一种数据 管理系统, 其特征在于, 应用于数据分析系统的存储节点, 所述存储节点用 于按照数据分片的形式组织管理数据, 所述数据分析系统还包括计算节点, 所述数据管理 系统包括: 计划接收单元, 用于接收所述计算节点发送的执行计划; 其中, 所述计算节点发送所述 执行计划的过程包括: 接收数据操作请求, 并为所述数据操作请求添加ID标识; 生 成所述数 据操作请求对应的执行计划; 若所述数据操作请求为数据插入请求, 则根据所述ID标识计 算目标分片位置, 将所述执 行计划发送至所述目标分片位置所在的存 储节点; 计划执行单元, 用于按照所述执 行计划在所述目标分片位置执 行追加写操作。 10.一种数据分析系统, 其特征在于, 所述数据分析系统包括运行于计算节点的计算模 块和运行于存 储节点的存 储模块; 其中, 所述存 储模块, 用于按照数据分片的形式组织管理数据; 所述计算模块, 用于接收数据操作请求, 并为所述数据操作请求添加ID标识; 生成所述 数据操作请求对应的执行计划; 若所述数据操作请求为数据插入请求, 则根据所述ID标识 计算目标分片位置, 将所述执行计划发送至所述 目标分片位置所在的目标存储节点, 以便 所述目标存 储节点按照所述执 行计划在所述目标分片位置执 行追加写操作。 11.一种电子设备, 其特征在于, 包括存储器和处理器, 所述存储器中存储有计算机程 序, 所述处理器调用所述存储器中的计算机程序时实现如权利要求 1至7任一项 所述数据管 理方法的步骤。 12.一种存储介质, 其特征在于, 所述存储介质中存储有计算机可执行指令, 所述计算 机可执行指令被处理器加载并执行时, 实现如权利要求 1至7任一项 所述数据管理方法的步 骤。权 利 要 求 书 2/2 页 3 CN 115421664 A 3

.PDF文档 专利 一种数据管理方法、数据分析系统、电子设备及存储介质

文档预览
中文文档 14 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共14页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种数据管理方法、数据分析系统、电子设备及存储介质 第 1 页 专利 一种数据管理方法、数据分析系统、电子设备及存储介质 第 2 页 专利 一种数据管理方法、数据分析系统、电子设备及存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 11:33:03上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。