全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210774616.9 (22)申请日 2022.07.01 (71)申请人 国家电网有限公司华 东分部 地址 200120 上海市浦东 新区浦东 南路882 号 (72)发明人 徐尧强 舒乔晔 周瑾 钱晨  胡卉芪  (74)专利代理 机构 上海思微知识产权代理事务 所(普通合伙) 31237 专利代理师 周耀君 (51)Int.Cl. G06F 16/22(2019.01) G06F 16/2453(2019.01) G06F 16/2455(2019.01) G06F 16/2457(2019.01)G06F 16/2458(2019.01) (54)发明名称 面向异常检测的时序数据库的查询执行方 法 (57)摘要 本发明提供了一种面向异常检测的时序数 据库的查询执行方法, 包括: 将不同数据源的的 数据平均分配为多个批次; 每个批次依次分配到 多个算子模块的数据队列中, 每个数据队列拥有 一个工作线程, 工作线程对数据队列中的数据进 行处理, 当前批次的数据在当前算子模块的数据 队列进行处理后, 在下一个算子模块的数据队列 进行处理的同时, 下一批次的数据在当前算子模 块的数据队列进行处理。 在本发明中, 不同数据 源的数据也可以同时进行异常查询的处理, 多个 算子模块可以多线程的对窗口数据进行异常查 询的处理, 因此, 提高了多数据源数据的处理并 行度, 并且, 加快了异常查询的执 行。 权利要求书1页 说明书5页 附图4页 CN 115145922 A 2022.10.04 CN 115145922 A 1.一种面向异常检测的时序数据库的查询执 行方法, 其特 征在于, 包括: 将不同数据源的 的数据平均分配为多个批次; 以及 每个所述批次依次分配到多个算子模块的数据队列中, 每个所述数据队列拥 有一个工 作线程, 所述工作线程对所述数据队列中的数据进行处理, 当前批次的数据在当前算子模 块的数据队列进行处理后, 在下一个算子模块的数据队列进行处理的同时, 下一批次的数 据在当前算子模块的数据队列进行处 理。 2.如权利要求1所述的查询执行方法, 其特征在于, 通过多数据源数据调度器将不同数 据源的的数据平均分配为多个批次。 3.如权利要求1所述的查询执 行方法, 其特 征在于, 每 个批次包括若干个数据。 4.如权利要求1所述的查询执行方法, 其特征在于, 同一所述批次包含不同数据源的数 据或相同数据源的数据。 5.如权利要求1所述的查询执行方法, 其特征在于, 同一个所述数据队列的数据为同一 批次的数据, 一个所述批次作为处 理的一个单 元。 6.如权利要求1所述的查询执行方法, 其特征在于, 将不同数据源的的数据平均分配为 多个批次的方法包括: 为每个数据进行编号; 基于哈希算法的多数据源数据均匀调度功能, 根据算子的数据 队列数量构建哈希函 数, 哈希函数把 不同数据源数据的编号映射到不同的数据队列; 每个所述数据队列的数据作为 一个批次。 7.如权利要求1所述的查询执行方法, 其特征在于, 进行异常查询之前, 将系统逻辑CPU 数量的80%均分到每 个所述算子上。 8.如权利要求1所述的查询执行方法, 其特征在于, 所述不同数据源的数据包括第 一数 据源数据、 第二数据源数据、 第三数据源数据和第四数据源数据。 9.如权利要求8所述的查询执行方法, 其特征在于, 将第一数据源数据、 第二数据源数 据、 第三数据源数据和第四数据源数据中任意两种 数据源数据分配到第一批次中, 其余两 种数据源数据分配到第二批次中。权 利 要 求 书 1/1 页 2 CN 115145922 A 2面向异常检测的时序数据库的查询执行方 法 技术领域 [0001]本发明涉及数据库系统领域, 尤其是涉及 一种面向异常检测的时序数据库的查询 执行方法。 背景技术 [0002]时序数据的异常检测由监控系统来完成, 监控系统是一套协助管理员监控基础设 备的软件, 监控工具可以监控应用程序状态、 物联网设备和服务器工作状况等基础设施所 产生的数据, 并在异常数据出现的时候及时发出警报。 在监控过程中, 及时发现运行状况异 常的设备是很有必要的, 不仅可以提供服务的可靠性, 也能降低损失和风险。 然而, 随着传 感器的数量不断增加、 服务不断扩展的情况下, 及时发现并处理异常的设备更是一项巨大 的挑战。 而在这些设备中, 数据存储模块是监控系统的核心模块, 也是其他模块的中心结 点, 同时, 还能提供实时数据和历史数据的异常检测功能。 目前, 主流监控系统的数据存储 模块功能由时序数据库来完成, 时序数据库作为专门为时序数据优化的数据库, 不论在时 序数据的存 储和查询性能, 还是监控功能的丰富度方面都优于传统的数据库。 [0003]OpenTSDB和InfluxDB都是开源的时序数据库, OpenTSDB是基于Hbase的一个可扩 展的高效时序数据库, 可以支撑起海量的时序数据管理服务。 OpenTSDB的主要设计思想是 运行足够多的时间序列守护进程(TSDs)来实现外界数据的交互, 每个时间序列守护进程 (TSDs)都是相互独立的。 OpenTSDB拥有丰富的数据模 型, 同时也支持降采样, 以实现低成本 的存储和快速的聚合查询能力。 而InfluxDB拥有丰富的数据模型, 其时序数据的倒排索引 设计使数据管理更加方便, 也有效提高了数据的查询效率。 为了提高时序数据的写入吞吐、 降低数据的存储成本, InfluxDB还提出了时间结构的合并树作为其存储引擎的索引, 针对 不同的数据类型应用不同的压缩算法。 在实际的时间序列环境中, InfluxDB已经取得了巨 大的成功。 [0004]然而, 现有技术中, 大多数时序数据库包括OpenTSDB和InfluxDB均没有考虑到如 何高效地执行异常检测查询的问题, 导致异常检测查询的执行较慢, 并且, 多 数据源数据的 处理并行度较低。 发明内容 [0005]本发明的目的在于提供一种面向异常检测的时序数据库的查询执行方法, 可以提 高多数据源数据的处 理并行度, 并且, 可以加快异常检测查询的执 行。 [0006]为了达到上述目的, 本发明提供了一种面向异常检测的时序数据库的查询执行方 法, 包括: [0007]将不同数据源的 的数据平均分配为多个批次; 以及 [0008]每个所述批次依次分配到多个算子模块的数据队列中, 每个所述数据队列拥有一 个工作线程, 所述工作线程对所述数据队列中的数据进行处理, 当前批次的数据在当前算 子模块的数据队列进行处理后, 在下一个算子模块的数据队列进行处理的同时, 下一批次说 明 书 1/5 页 3 CN 115145922 A 3

.PDF文档 专利 面向异常检测的时序数据库的查询执行方法

文档预览
中文文档 11 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共11页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 面向异常检测的时序数据库的查询执行方法 第 1 页 专利 面向异常检测的时序数据库的查询执行方法 第 2 页 专利 面向异常检测的时序数据库的查询执行方法 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 00:16:56上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。