(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210588993.3 (22)申请日 2022.05.26 (71)申请人 厦门立林科技有限公司 地址 361000 福建省厦门市集美区灌口镇 铁山路780号2层- 5层 (72)发明人 刘勤勇　杨思超　胡沐荣　 (74)专利代理 机构 厦门市新 华专利商标代理有 限公司 3 5203 专利代理师 罗恒兰 (51)Int.Cl. G06F 16/27(2019.01) G06F 16/23(2019.01) G06F 16/22(2019.01) G06F 16/182(2019.01) G06F 11/14(2006.01)G06F 9/50(2006.01) (54)发明名称 一种分布式的智能实时数据流分发方法及 系统 (57)摘要 本发明涉及一种分布式的智能实时数据流 分发方法及系统， 通过数据分发系统将源数据库 的信息同步 分发到目标数据库中， 数据分发系统 在进行增量数据分发时， 采用监听源 数据库的日 志文件来获取增量数据， 减少了对源 数据库的查 询压力， 保证系统的稳定性， 也提高了增量数据 分发的实时性。 此外， 无论是在进行全量数据分 发还是增量数据分发， 本发明均对 所获取的数据 进行了分片处理， 该分片处理过程充分考虑了不 同实例的配置信息， 然后进行适应性的调整， 从 而提高了 数据处理的速度， 进而提高数据分发的 及时性， 实现数据的实时分发。 权利要求书3页 说明书10页 附图2页 CN 114996353 A 2022.09.02 CN 114996353 A 1.一种分布式的智能实时数据流分发方法， 其特征在于： 所述方法通过数据分发系统 将源数据库的信息同步分发到目标 数据库中， 具体如下： 加载数据分发系统配置， 读取 数据分发事 件状态信息； 调用数据读取连接器， 从源数据库中读取需要分发的全量数据； 若读取失败则继续读 取， 若读取成功， 则对读取的数据进行分片处 理； 将分片处 理后的数据进行压缩打包， 然后分发到不同实例上， 对数据进行处 理； 调用数据写入连接器， 将处 理后的数据写入到目标 数据库中； 自动切换到增量数据分发； 监测源数据库的日志信 息， 当日志信 息发生变动时， 拉取增量数据的日志信息， 然后进 行日志解析， 获取增量数据； 对增量数据进行分片处理， 然后将分片好的数据压缩打包， 分发到不同实例上， 进行数 据处理； 调用数据写入连接器， 将处 理后的数据写入到目标 数据库中。 2.根据权利要求1所述的一种分布式的智能实时数据流分发方法， 其特征在于： 所述数 据写入目标数据库的同时， 数据分发的时间状态以及处理到的源数据位移信息写入到 分布 式文件系统中。 3.根据权利要求2所述的一种分布式的智能实时数据流分发方法， 其特征在于： 当源数 据库出现异常时， 重新启动源数据库， 继续产生数据变更日志信息， 读取分布式文件系统中 的信息， 获取最近一次失败时存 储的位移信息， 继续进行 数据同步； 和/或 当数据分发系统出现异常时， 重新启动数据分发系统， 读取分布式文件系统中的信 息， 获取最近一次失败时存 储的位移信息， 继续进行 数据同步； 和/或 当目标数据库出现异常时， 重新启动目标数据库， 读取分布式文件系统中的信 息， 获取 最近一次失败时存 储的位移信息， 继续进行 数据同步。 4.根据权利要求1或2所述的一种分布式的智能实时数据流分发方法， 其特征在于： 所 述分片处 理如下： 指定分片的区间数C， 具体为C1+C2+. ..+Cn； 指定各分片区间的长度， 具体区间划分为[0,L1),[L1,2L1),...,[(C1 ‑1)L1,C1L1), [C1L1,C1L1+L2),[C1L1+L2,C1L1+2L2),. ..其中， 每一个区间对应一个数据节点； 将上述两个数组做点乘运 算， 得到取模数， 如下式(1)： M＝C*L＝C1L1+C2L2+....+CnLn； 再将上述两个数组进行 叉乘， 得出虚拟分片数， 如下式(2)：权　利　要　求　书 1/3 页 2 CN 114996353 A 2根据where 条件的值 来落入实际的虚拟分片； 对于每一数据， 按照 式(1)的计算结果为M， 然后将该数据编号对M取模， 然后得到的值 落到式(2)计算出来的虚拟分片中； 将划分出来的虚拟分片区间映射到实际分片的计算机节点上。 5.根据权利要求1或2所述的一种分布式的智能实时数据流分发方法， 其特征在于： 所 述源数据库、 数据分发系统和目标 数据采用S SD磁盘。 6.一种分布式的智能实时数据流分发系统， 其特征在于： 包括源数据库、 数据分发系 统、 目标数据库、 注 册中心； 所述数据分发系统用于将源数据库的数据同步到目标数据库中， 该数据分发系统包括 数据分发中心和数据 处理中心； 所述数据 处理中心包括多个数据 处理实例， 每一数据 处理 实例在注 册中心注册； 所述注册中心用于数据处理中心的实例配置信 息传送到数据分发中心， 还用于实时监 控数据处理中心的实例的存活情况， 若监控到实例挂掉后， 立即自动执行自启实例的脚本 进行启动实例； 所述数据分发中心用于进行全量数据分发和增量数据分发； 当用于全量数据分发时， 数据分发中心从源数据库中获取需要分发的全量数据， 然后根据实例配置信息对获取到的 数据进行分片处理， 分片好的数据进 行压缩打包， 并分发到数据处理中心的不同实例上； 当 用于增量数据分发时， 数据分发中心 监测源数据库的日志信息， 当日志信息发生变动时， 拉 取增量数据的日志信息， 然后进 行日志解析， 获取增量数据； 接着根据实例配置信息对增量 数据进行分片处 理， 将分片好的数据压缩打包， 分发到数据处 理中心的不同实例上； 所述数据处理中心用于接收数据分发中心分发的数据， 并进行数据处理； 处理完的数 据写入到目标 数据库中。 7.根据权利要求6所述的一种分布式的智能实时数据流分发系统， 其特征在于： 所述实 时数据流分发系统还包括分布式文件系统， 所述数据处理中心将数据写入目标数据库的同 时， 将数据分发的事 件状态以及处 理到的源数据位移信息存 入分布式文件系统中。 8.根据权利要求7所述的一种分布式的智能实时数据流分发系统， 其特征在于： 当源数 据库出现异常时， 重新启动源数据库， 继续产生数据变更日志信息， 读取分布式文件系统中 的信息， 获取最近一次失败时存 储的位移信息， 继续进行 数据同步； 和/或 当数据分发系统出现异常时， 重新启动数据分发系统， 读取分布式文件系统中的信 息， 获取最近一次失败时存 储的位移信息， 继续进行 数据同步；权　利　要　求　书 2/3 页 3 CN 114996353 A 3