(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211046938.8 (22)申请日 2022.08.30 (71)申请人 南京邮电大 学 地址 210023 江苏省南京市仙林大 学城文 苑路9号 申请人 安徽晶奇网络科技股份有限公司 (72)发明人 李鹏　王之道　樊卫北　徐鹤　 王汝传　张玉杰　朱枫　李友涛　 张结魁　陈莉莉　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 王美章 (51)Int.Cl. G06F 30/20(2020.01) G06F 16/27(2019.01)G06N 3/12(2006.01) G06F 111/04(2020.01) G06F 111/06(2020.01) (54)发明名称 一种基于张量的流式计算系统一致性综合 优化方法 (57)摘要 本发明提出一种在提升流式计算一致性的 同时兼顾可用性和分区容错性的方法， 将CAP问 题进行量化描述， 然后从整体层面进行优化。 首 先通过张量作为一种数学工具， 对不固定冗余分 布式存储系统的一致性进行量化表达。 然后基于 最终一致性模 型的流式计算架构及更新过程， 推 导出了C、 A、 P之间定量化的约束关系。 在确定约 束关系模型中不同参数的性质和成本约束条件 后， 形成三目标优化问题。 最后使用改进后的 NSGA2遗传算法进行求解， 经过迭代后可以得到 描绘Pareto最优解集的前沿面图像。 本 方法实现 了将传统只能定性分析的CAP问题进行量化表 示， 并使用遗传算法求出最优解集合， 为决策者 选出满意解作为解决流式计算一致性问题的方 案提供了支持。 权利要求书2页 说明书7页 附图5页 CN 115544719 A 2022.12.30 CN 115544719 A 1.一种基于张量的流式计算系统一 致性综合优化方法， 其特 征在于， 包括以下步骤： S1、 将异构数据用张量进行表示， 计算张量组在分布式存 储系统中的一 致性； S2、 基于最终一致性模型的张量流式计算架构， 推导一致性、 可用性、 分区容错性之间 的约束关系， 将约束关系用含有系统参数的表达式来表示； S3、 确定含有系统参数的CAP约束关系表达式中的参数类型和成本约束条件， 形成CAP 三目标优化问题； S4、 使用改进后的NSGA 2算法求解所述CAP三目标优化问题， 得到Pareto 最优解集。 2.根据权利要求1所述的数据张量化及张量组一致性度计算方法， 其特征在于， 步骤S1 包括以下子步骤： S1.1、 将异构数据使用扩展算子， 按照最细粒度的原则以维数的形式融合进张量的高 阶表示模型中， 实现异构数据的张量 化； S1.2、 通过分布式的张量 算法和Storm平台， 实现将上述张量模型应用于流式计算； S1.3、 基于依赖项的定义， 计算在不定冗余的分布式存储中的张量组中包含的匹配的 依赖项个数和不匹配的依赖项个数， 从而得到张量组在分布式存 储系统中的一 致性度。 3.根据权利要求1所述的CAP约束关系推导， 其特 征在于， 步骤S2具体包括以下子步骤： S2.1、 基于最终一致性模型的张量流式计算系 统架构， 给出可用性A和分区容错性P的 表示集合； S2.2、 根据系统的更新过程， 推导出更新周期的表达式和限制范围， 算出可用性A的表 达式； S2.3、 用更新过程中一致性度 最小时的一致性度 值Cmin作为衡量一致性的参数， 推导一 致性度值Cmin的表达式， 并且将得到的表达式进行化简和拆分； S2.4、 引入系统中的参数， 联系参数的实际含义， 将C、 A、 P分别用含有系统参数的表达 式进行表示， 使得CAP约束关系被定量描述。 4.根据权利要求1所述的CAP三目标优化问题确定， 其特征在于， 步骤S3具体包括以下 子步骤： S3.1、 根据在实际应用场景中的含义和可否改变， 将CAP约束关系 表达式中的参数按照 自变量、 因变量、 常数参数进行划分； S3.2、 确定成本约束函数的形式， 具有与总节点数成正比， 与流式和批处理两种计算的 硬件性能平方及流计算的通信开销一次方正相关， 加上每组内物理连接线 条数乘以组数的 形式； S3.3、 将CAP约束函数、 成本约束函数和目标函数的表达形式以多目标优化问题的形式 列出， 将参数中的自变量 合并为决策向量， 形成CAP三目标优化问题。 5.根据权利要求1所述的基于改进后的NSGA2遗传算法求解CAP三目标优化问题， 其特 征在于， 步骤S4具体包括以下子步骤： S4.1、 针对线性加权法无法处理的复杂情况， 根据CAP三目标优化问题的目标函数、 决 策向量完成遗传算法中基本的种群初始化、 选择个 体以及变异操作； S4.2、 实现进化迭代过程中的核心操作快速非支配排序， 并将NSGA2算法的拥挤距离、 精英策略引入快速非支配排序的过程中， 实现基本的CAP三目标优化问题求 解功能； S4.3、 将不可行解直接剔除改进为以罚函数的形式引入约束条件和成本约束， 并将CAP权　利　要　求　书 1/2 页 2 CN 115544719 A 2三个方向的拥挤距离进行归一 化操作， 提升解 集的丰富 性和均匀性， 避免个 体聚集； S4.4、 将最终种群中的个体以散点图的形式进行显示， 在三维空间中描绘出代表 Pareto前沿的曲面。权　利　要　求　书 2/2 页 3 CN 115544719 A 3