全网唯一标准王
(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111434664.5 (22)申请日 2021.11.29 (71)申请人 国网北京市电力公司 地址 100031 北京市西城区前门西大街 41 号 申请人 国家电网有限公司   北京电力经济技 术研究院有限公司   清华四川能源互联网研究院 (72)发明人 席嫣娜 张宏宇 高鑫 梁惠施  李伟 胡彩娥 冯楠 陈波 王健  杨铭 王舒 王思涵 周奎  (74)专利代理 机构 北京康信知识产权代理有限 责任公司 1 1240 代理人 张岳峰(51)Int.Cl. H04L 67/1095(2022.01) H04L 67/104(2022.01) H04L 9/40(2022.01) H04L 9/32(2006.01) G06F 16/182(2019.01) G06F 16/2458(2019.01) G06F 17/16(2006.01) G06F 21/64(2013.01) (54)发明名称 大数据共享方法、 装置以及大 数据共享系统 (57)摘要 本申请提供了一种大数据共享方法、 装置以 及大数据共享系统, 该方法包括: 接收数据需求 方通过区块链发送数据请求, 数据请求包括数据 的索引信息, 索引信息包括数据的存储位置信 息; 根据索引信息检索数据提供方的本地存储器 中的数据, 得到目标数据; 将目标数据通过区块 链发送至 数据需求方。 该方法解决了现有技术中 的大数据共享采用的区块链冗余信息量过多的 问题。 权利要求书1页 说明书11页 附图3页 CN 114244853 A 2022.03.25 CN 114244853 A 1.一种大 数据共享方法, 其特 征在于, 包括: 接收数据需求方通过区块链发送数据请求, 所述数据请求包括数据的索引信息, 所述 索引信息包括所述数据的存 储位置信息; 根据所述索引信息检索数据提供 方的本地存 储器中的数据, 得到目标 数据; 将所述目标 数据通过 所述区块链发送至所述数据需求方。 2.根据权利要求1所述的方法, 其特征在于, 根据 所述索引 信息检索数据提供方的本地 存储器中的数据, 得到目标 数据, 包括: 根据所述存储位置信 息确定对应的数据块所在的存储节点, 所述本地存储器中的数据 包括多个数据块, 所述数据块与所述存储节点一一对应, 所述索引信息还包括所述 目标数 据的数据块信息和所述目标 数据的数据块的存 储位置信息; 读取所述存储节点存 储的所述数据块, 得到所述目标 数据。 3.根据权利要求2所述的方法, 其特征在于, 所述本地存储器的存储节点包括数据节点 和校检节点, 所述数据节点用于存储所述 目标数据, 所述数据节点用于存储所述 目标数据 对应的校验数据, 在读取所述存储节 点存储的所述数据块, 得到所述目标数据之前, 所述方 法还包括: 在所述目标数据对应的数据节点失效的情况下, 根据所述校验数据计算得到所述目标 数据; 在所述目标数据对应的校检节点失效的情况下, 根据所述目标数据计算得到所述校验 数据。 4.根据权利要求3所述的方法, 其特征在于, 在所述数据节点失效或者所述校检节点失 效的情况 下, 采用拜占庭容 错算法进行 数据修复。 5.根据权利要求1所述的方法, 其特 征在于, 所述区块链的节点 通过P2P网络进行通信。 6.根据权利要求1所述的方法, 其特征在于, 所述索引信 息经过加密后存储在所述区块 链上。 7.一种大 数据共享装置, 其特 征在于, 包括: 接收单元, 用于接收数据需求方通过区块链发送数据请求, 所述数据请求包括数据的 索引信息, 所述索引信息包括所述数据的存 储位置信息; 获取单元, 用于根据所述索引信息检索数据提供方的本地存储器中的数据, 得到目标 数据; 发送单元, 用于将所述目标 数据通过 所述区块链发送至所述数据需求方。 8.一种计算机可读存储介质, 其特征在于, 所述计算机可读存储介质包括存储的程序, 其中, 所述 程序执行权利要求1至 6中任意一项所述的方法。 9.一种处理器, 其特征在于, 所述处理器用于运行程序, 其中, 所述程序运行时执行权 利要求1至 6中任意一项所述的方法。 10.一种大数据共享系统, 包括区块链、 区块链节点的本地存储器和大数据共享装置, 其特征在于, 所述大 数据共享装置包括用于执 行权利要求1至 6中任意一项所述的方法。权 利 要 求 书 1/1 页 2 CN 114244853 A 2大数据共享方法、 装置以及大数据 共享系统 技术领域 [0001]本申请涉及大数据共享技术领域, 具体而言, 涉及一种大数据共享方法、 装置、 计 算机可读存 储介质、 处 理器以及大 数据共享系统。 背景技术 [0002]随着能源革命推进, 能源向清洁化、 分布式转型, 可再生能源在能源系统中的占比 逐渐提升, 分布式供能的大规模应用使得逐渐形成集中式和分布式共同参与的能源供给格 局。 基于区块链的新能源云平台可以横向聚合供应商、 电网企业、 能源用户等行业资源, 纵 向服务用户建站咨询、 建设方案评估、 设备采购、 运行维护、 结算补贴、 并网等业务环节, 将 业务需求数据进行全流 程上链, 实现数据可信共享, 打破数据壁 垒, 提高多方协同效率。 [0003]目前数据共享采用安全多方计算的方法, 即允许多个数据所有者在彼此不信任的 情况下执行协作计算, 输出计算结果, 并确保除计算结果外, 任何一方都无法获得其他任何 多余信息。 区块链下的数据共享应用可以分为两类模式: (1)资源共享服务模式:支持两个 及以上的业务部门之间共享数据, 通过去中心化的特性实时同步各节点数据, 通过透明化 及智能合约特性, 在规则下有记录地实现内部数据资源的授权共享。 (2)业务协同服务模 式: 利用智能合约在区块链上 的触发生成和自动运转的特性, 实现线上数据通过条件判定 的形式, 在多部门、 多单位间安全可靠的流 转。 [0004]目前区块链技术主要存在2个问题: 一方面是数据的拓展性不足, 共享 交易的吞吐 量不足导致的性能低下, 对于能源区块链来说, 能源交易品种繁多、 频次增多、 参与者集中, 存在数据协同效率较低的问题, 亟需一个具备扩展性的中间层数据 处理方式。 另一方面是 能源大数据体量大、 分布广, 而区块链本身存储空间有限, 因而分布式存储应运而生, 但是 存储节点随着数据规模的不断扩大变得越来越常见。 为解决该问题纠删码编码和解码更多 的运用在了区块链存储中, 在现有技术中, 最常见的是多副本机制和MDS码, 多副本机制引 入冗余简单, 但存储效率非常低, 传统的MDS码存储成本相对较低, 但拥有更高的修复成本 和访问延迟。 [0005]现有技术存在以下三个主 要问题: [0006]1)区块链冗余信息量过多: 由于区块链网络中任一节点均备份所有的链上交易信 息, 交易携带 数据量的增大严重影响共识机制效率, 且造成存 储、 计算资源不必要的浪费; [0007]2)数据源扩展性弱: 由于中心化的数据库难以满足和适应各类数据存储需要, 因 此采用用户自定义的数据源, 但该类数据源标准不统一, 异构性 强, 急需一个具备扩展性的 中间层进行信息连接。 分布式文件系统将计算机网络与节点相连, 用户无需关注具体存储 位置, 加入网络即可扮演客户端、 服务器两种角色, 上传和获取信息文件, 能够完美适应此 类分布式场景的文件 共享; [0008]3)数据存储节点修复: 分布式存储存在节点不可靠的问题, 基于纠错码通过引进 冗余数据来提高容错能力, 相较于传统的MDS码, 结合piggybacking框架, 提出一种能源区 块链随机切片存储方法, 在不改变原有系统分布、 存储的前提下, 降低数据修复的传输带宽说 明 书 1/11 页 3 CN 114244853 A 3

.PDF文档 专利 大数据共享方法、装置以及大数据共享系统

文档预览
中文文档 16 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共16页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 大数据共享方法、装置以及大数据共享系统 第 1 页 专利 大数据共享方法、装置以及大数据共享系统 第 2 页 专利 大数据共享方法、装置以及大数据共享系统 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-19 04:22:39上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。