(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111532784.9 (22)申请日 2021.12.15 (71)申请人 广东电力 信息科技有限公司 地址 510000 广东省广州市越秀区东 风东 路808号5 09房 (72)发明人 曾朝霖　杨永娇　欧锦文　 (74)专利代理 机构 南京理工信达知识产权代理 有限公司 32542 代理人 彭甲临 (51)Int.Cl. G06Q 30/02(2012.01) G06Q 50/06(2012.01) (54)发明名称 一种基于电力行业营销系统实时数据的监 控方法 (57)摘要 本发明提供了一种基于电力行业营销系统 实时数据的监控方法， 其特征在于， 包括数据存 储模块、 数据分析模块、 API接入模块、 消费者管 理模块以及监控模块； 所述数据存储模块通过源 数据同步及源服务器旁路流量监控， 将所需监控 数据保留到监控服务器上； 所述数据分析模块对 所获取到的各种数据， 设置不同的监控指标； 所 述API接入模块用于实时对异常情况通知到对应 人员， 及时采取相应措施； 所述消费者管理模块 包括kafka组件； 所述监控模块通过数据迁移监 控， 维护迁移任务和脚本。 本发明可以大幅度提 高查询数据的效率， 缩短工作周期， 减少人工值 守时间； 一旦出现数据问题， 可通过短信、 邮件等 渠道进行通知， 随时随地了解电力营销抄核收全 过程。 权利要求书2页 说明书5页 附图1页 CN 114202365 A 2022.03.18 CN 114202365 A 1.一种基于电力行业营销系统实时数据的监控方法， 其特征在于， 包括数据存储模块、 数据分析模块、 API接入模块、 消费者管理模块以及监控模块； 所述数据存储模块通过源数 据同步及源服务器旁路流量监控， 将所需监控数据保留到监控服务器上； 所述数据分析模 块对所获取到的各种数据， 根据抄 核收业务上的不同业务场景， 设置不同的监控指标； 所述 API接入模块用于实时对异常情况通知到对应人员， 及时采 取相应措施； 所述消费者管 理模 块包括kafka组件； 所述监控模块通过数据迁移监控， 维护迁移任务和脚本， 监控数据迁移 的过程， 保证 每个数据库的迁移任务可视， 出现异常能得到及时的处 理。 2.根据权利要求1所述的基于电力行业营销系统实时数据的监控方法， 其特征在于： 所 述数据分析模块包括数据库分析比对工具， 是保证数据同步结果的工具， 需连接多个数据 库， 并配置每个数据同步通道的源端与目标端， 建立同步链路； 并对两数据源的差异进行分 析， 为后续异构库表数据同步 提供处理规则基础。 3.根据权利要求1所述的基于电力行业营销系统实时数据的监控方法， 其特征在于： 所 述消费者管理模块是对kafka(开源流处理平台)组件的进一步应用； 单靠简单配置使用 kafka组件， 无法保证数据同步的高性能执行； 为保证消费的信息及时有效， 增加心跳检测 机制， 并把心跳信 息存储到re dis(Remote  Dictionary  Server)， 即远程字典服务， 避 免存 储到数据库， 影响数据库的IO； 具体包括如下步骤： 1)消费者注册： 为了对所有的消费者都进行监控， 当每个消费者启动后， 都会把自己注 册到redis中； 2)心跳注册： 为了redis中的当前消费者信息能及时有效， 增加心跳检测机制， 消费者 30s发送心跳信息给redis证明自己依然在线； 3)消费者剔除： 轮询redis中的所有消费者， 剔除90s未发送 心跳的消费者节点； 4)消费者启动和暂停消费： 可以手动启动和暂停消费者消费； 5)消费者监控： 以图表形式展示每个消费者当前的运行状态是否正常； 对于停止的节 点展示错误原因， 处 理完错误， 点击继续消费； 6)消费者消费明细： 展示消费者 正在消费的分区的消费数据量和待消费数据量； 7)消费者消费性能： 以折线图形式， 展示消费者的消费性能(每分钟 消费的数据量)； 8)消费者消费总明细： 展示消费者消费的主题共有几个分区， 以及每个分区 已经费的 数据数量和待消费数量； 9)消费者消费总性能： 以折线图形式， 展示每个消费者的消费性能(每分钟消费的数据 量)。 4.根据权利要求1所述的基于电力行业营销系统实时数据的监控方法， 其特征在于： 所 述数据迁移是在开展数据同步前， 为减少历史数据而开展的一项工作， 包括以下功能； 1)数据库配置： 配置需要的数据库， 包括用户名， 密码， IP地址， 端口等信息， 并将信息 保存； 配置是为连接提供基础信息； 连接要执行数据库脚本文件的数据库， 可同时部署连接多个数据库， 在数据库脚本文 件执行时可同时作用于已经 连接的数据库； 2)数据迁移任务维护： 维护数据迁移定时任务名称， 任务规则等信息， 同时支持上传或 编辑数据库迁移脚本、 处 理程序等； 3)引擎信息维护： 维护引擎信息， 如名称， ip等信息；权　利　要　求　书 1/2 页 2 CN 114202365 A 24)日志查询： 记录数据迁移任务执行 日志， 并可根据任务名称， 任务信息查询任务执行 日志信息； 5)任务监控： 记录数据迁移任务执 行日志， 监控 任务执行结果， 提供查询展示功能。 5.根据权利要求1所述的基于电力行业营销系统实时数据的监控方法， 其特征在于： 所 述监控模块还包括监控看板， 具体包括以下功能。 1)监控数据库连接情况： 监控数据库连接情况， 展示连接统计数据库已连接或失败情 况， 展示已连接或连接失败的数据库信息； 2)监控kafka连接情况： kafka展示信息， 包括 生产、 消费端的ip、 端口； 3)发布信息监控： 查询获取的发布计划， 展示待发布计划信息、 待发布程序包信息、 已 发布版本信息； 4)替换文件监控： 统计程序文件替换次数， 可以按程序版本或年度查询， 统计相关配置 文件替换次数； 5)脚本执 行监控： 统计脚本执 行数量、 脚本执 行成功数、 脚本执 行失败数等数据。权　利　要　求　书 2/2 页 3 CN 114202365 A 3