(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211144644.9 (22)申请日 2022.09.20 (71)申请人 中电云数智科技有限公司 地址 430058 湖北省武汉市蔡甸区经济技 术开发区人工智能科技园N栋研发楼3 层N3013号 申请人 中国电子系统技 术有限公司 (72)发明人 明靖鸥　余攀　舒坦　 (74)专利代理 机构 北京尚钺知识产权代理事务 所(普通合伙) 11723 专利代理师 王海荣 (51)Int.Cl. G06F 11/14(2006.01) G06F 16/23(2019.01) G06F 16/27(2019.01) (54)发明名称 基于daos分布式存储系统中数据增量重构 系统和方法 (57)摘要 本发明涉及数据重构技术领域， 提供基于 daos分布式存储系统中数据增量重构系统和方 法， 本发明的系统由恢复端和权威端组成， 其中， 恢复端包括： 扫描模块， 对象遍历 模块， 对象粒度 识别模块， dkey遍历模块， dkey粒度识别模块， rsv比较模块， akey遍历模块， akey粒度识别模 块， 恢复端数据库， rsv更新模块。 根据本发明示 例性实施例的基于daos分布式存储系统中数据 增量重构系统和方法， 通过分级数据恢复机制来 提升重构效率， 以最短的时间识别出数据需要进 行重构的粒度， 仅恢复故障期间缺失部分的数 据， 有效减少重构过程的数据迁移， 提升重构流 程的效率， 降低重构对系统资源的消耗， 提高集 群的可靠性， 以最小的数据恢复代 价实现分布式 存储系统数据的一 致性。 权利要求书3页 说明书7页 附图3页 CN 115454720 A 2022.12.09 CN 115454720 A 1.基于daos分布式存储系统中数据增量重构系统， 其特征在于， 所述系统由恢复端和 权威端组成， 其中， 权威端用于供恢复端拉取 数据进行恢复， 恢复端包括： 扫描模块， 用于从权威端获取待恢复对象； 对象遍历模块， 用于遍历待恢复对象； 对象粒度识别模块， 对待恢复对象进行对象粒度识别， 将恢复端不存在的对象拉取至 恢复端数据库， 将恢复端存在的对象发送至dkey遍历模块； dkey遍历模块， 用于遍历恢复端存在的待恢复对象的所有dkey； dkey粒度识别模块， 对待恢复对象进行dkey粒度识别， 将恢复端不存在的dkey拉取至 恢复端数据库， 将恢复端存在的dkey发送至rsv比较模块； rsv比较模块， 用于判断恢复端存在的dkey是否需要重构恢复， 将需要恢复的dkey发送 至akey遍历模块； akey遍历模块， 用于遍历需要恢复的dkey的所有akey； akey粒度识别模块， 对待恢复dkey进行akey粒度识别， 将恢复端不存在的akey拉取至 恢复端数据库， 以恢复端存在的akey的records为 最小粒度进行 数据的增量重构； 恢复端数据库， 用于存 储从权威端拉取的对象、 dkey、 akey和records数据； rsv更新模块， 用于在数据在以对象、 dkey、 akey或records为粒度进行增量重构后将恢 复端的rsv更新 为重构任务版本 。 2.根据权利要求1所述的基于daos分布式存储系统中数据增量重构系统， 其特征在于， 对象粒度识别模块具体用于： 将每个待恢复对象的object_id依次与在恢复端数据库中对 象的对象树进行匹配， 当待恢复对象的object_id与在恢复端数据库中对象的对象树匹配 失败， 判定恢复端存在所述待恢复对象， 当待恢复对象 的object_id与在 恢复端数据库中对 象的对象树匹配成功， 判定恢复端不存在所述待恢复对象。 3.根据权利要求1所述的基于daos分布式存储系统中数据增量重构系统， 其特征在于， dkey粒度识别模块具体用于： 将每个待恢复dkey的dkey_i d依次与恢复端数据库中dkey的 dkey树进行匹配， 当待恢复dkey的dkey_id与在恢复端数据库中dkey的dkey树匹配失败， 判 定恢复端存在所述待恢复对象， 当待恢复dkey的dkey_id与在恢复端数据库中dkey的dkey 树匹配成功， 判定恢复端不存在所述待恢复对象。 4.根据权利要求1所述的基于daos分布式存储系统中数据增量重构系统， 其特征在于， rsv比较模块具体用于： 获取恢复端存在的dkey在权威端的rsv， 若所述dkey在恢复端的rsv 等于权威端的rsv， 则判定所述dkey不需要重构恢复， 若所述dkey在恢复端的rsv小于权威 端的rsv， 将所述dkey发送至akey遍历模块。 5.根据权利要求1所述的基于daos分布式存储系统中数据增量重构系统， 其特征在于， akey粒度识别模块具体用于： 对待恢复dkey进行akey粒度识别， 包括： 将每个待恢复akey的 akey_id依次与在恢复端数据库中akey的akey树进行匹配， 当待恢复akey的akey_id与在恢 复端数据库中akey的akey树匹配失败， 判定恢复端存在所述待恢复对象， 当待恢复akey的 akey_id与在恢复端数据库中 akey的akey树匹配成功， 判定恢复端不存在所述待恢复对象。 6.基于daos 分布式存 储系统中数据增量重构方法， 其特 征在于， 所述方法， 包括： 步骤S1： 通过扫描模块从权威端获取待恢复对象； 步骤S2： 通过对象遍历模块遍历待恢复对象， 通过对象粒度识别模块对待恢复对象进权　利　要　求　书 1/3 页 2 CN 115454720 A 2行对象粒度识别， 将恢复端不存在的对 象拉取至恢复端数据库， 将恢复端存在的对 象发送 至dkey遍历模块； 步骤S3： 通过dkey遍历模块遍历步骤S2发送的待恢复对象的所有dkey， 通过dkey粒度 识别模块对待恢复对象进行dkey粒度识别， 将恢复端不存在的dkey拉取至恢复端数据库， 将恢复端存在的dkey发送至rsv比较模块， 通过rsv比较模块判断恢复端存在的dkey是否需 要恢复， 将需要恢复的dkey发送至akey遍历模块； 步骤S4： 通过akey遍历模块遍历步骤S3发送的需要恢复的dkey的所有akey， 通过akey 粒度识别模块对待恢复 dkey进行akey粒度 识别， 将恢复端不存在的akey拉取至恢复端数据 库， 以恢复端存在的akey的records为 最小粒度进行 数据的增量重构。 7.根据权利要求6所述的基于daos分布式存储系统中数据增量重构方法， 其特征在于， 步骤S2中， 通过对象粒度识别模块对待恢复的对象进 行对象粒度 识别， 包括： 将 每个待恢复 对象的object_id依次与在恢复端数据库中对象的对象树进行匹配， 根据匹配结果判定待 恢复对象是否存在于恢复端。 8.根据权利要求7所述的基于daos分布式存储系统中数据增量重构方法， 其特征在于， 根据匹配结果判定待恢复对象是否存在于恢复端， 包括： 当待恢复对象的object_id与在恢复端数据库中对象的对象树匹配失败， 判定恢复端 存在所述待恢复对象； 当待恢复对象的object_id与在恢复端数据库中对象的对象树匹配成功， 判定恢复端 不存在所述待恢复对象。 9.根据权利要求6所述的基于daos分布式存储系统中数据增量重构方法， 其特征在于， 步骤S3中， 通过dkey粒度识别模块对待恢复对象进行dkey粒度识别， 包括： 将每个待恢复 dkey的dkey_id依次与恢复端数据库中dkey的dkey树进行匹配， 根据匹配结果判 定待恢复 dkey是否存在于恢复端。 10.根据权利要求9所述的基于daos分布式存储系统中数据增量重构方法， 其特征在 于， 根据匹配结果判定待恢复dkey是否存在于恢复端， 包括： 当待恢复dkey的dkey_id与在恢复端数据库中dkey的dkey树匹配失败， 判定恢复端存 在所述待恢复对象； 当待恢复dkey的dkey_id与在恢复端数据库中dkey的dkey树匹配成功， 判定恢复端不 存在所述待恢复对象。 11.根据权利要求6所述的基于daos分布式存储系统中数据增量重构方法， 其特征在 于， 步骤S3中， 通过rsv比较模块判断恢复端存在的dkey是否需要重构恢复， 将需要重构恢 复的dkey发送至akey遍历模块， 包括： 获取所述 dkey在权威端的rsv， 若所述 dkey在恢复端 的rsv等于权威端的rsv， 则判定所述dkey不需要重构恢复， 若所述dkey在恢复端的rsv小于 权威端的rsv， 将所述dkey发送至akey遍历模块。 12.根据权利要求6所述的基于daos分布式存储系统中数据增量重构方法， 其特征在 于， 步骤S4中， 通过akey粒度识别模块对待恢复dkey进行akey粒度识别， 包括： 将每个待恢 复akey的akey_i d依次与在恢复端数据库中akey的akey树进行匹配， 根据匹配结果判 定待 恢复akey是否存在于恢复端。 13.根据权利要求12所述的基于daos分布式存储系统中数据增量重构方法， 其特征在权　利　要　求　书 2/3 页 3 CN 115454720 A 3