全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210426969.X (22)申请日 2022.04.22 (71)申请人 山东睿一科技发展 有限公司 地址 250101 山东省济南市中国(山 东)自 由贸易试验区济南片区颖秀路2766号 科研生产楼1 101室 (72)发明人 唐文光 张明坤 庄琰  (51)Int.Cl. G06F 16/22(2019.01) G06F 16/2455(2019.01) G06F 16/28(2019.01) G06F 16/172(2019.01) G06F 3/06(2006.01) (54)发明名称 用于解决大数据量高实时性并发处理的智 能单表数据库 (57)摘要 本发明涉及到一种数据库, 具体地说, 涉及 一种用于解决大数据量高实时性并发处理的智 能单表数据库, 包括: 数据库模块、 存储模块、 查 询模块、 读取模块, 数据库模块: 该模块预置块写 入单元, 其首先写入连续长度的空数据, 当有数 据需要写入时, 数据会覆盖到空数据上, 如果空 数据的剩余长度不足以写入新的数据, 则再次追 加连续长度的空数据; 存储模块: 数据库模块的 数据都存储在存储模块中, 本数据库对服务器的 硬件要求极低, 4G内存、 4核CP U的廉价计算机, 即 可满足数万亿条数据的高速查询、 统计、 分析需 求, 得益于查询缓存, 能够满足大规模并发查询 的需求。 需按照数据量购置响应容量的硬盘即 可, 无需追加投资。 权利要求书2页 说明书7页 CN 114741394 A 2022.07.12 CN 114741394 A 1.一种用于解决大数据量高实时性并发处理 的智能单表数据库, 其特征在于, 其包括: 数据库模块、 存 储模块、 查询模块、 读取模块。 2.数据库模块: 该模块预置块写入单元, 单个数据库只允许建立一张数据表, 其首先写 入连续长度的空数据, 当有数据需要写入时, 数据会覆盖到空数据上, 如果空数据的剩余长 度不足以写入新的数据, 则再次追加连续长度的空数据; 存储模块: 数据库模块的数据都存储在存储模块中, 在数据存储时, 每条数据首先被完 整存储一次, 然后至少做两次以上的索引存 储; 查询模块: 查询模块至少设置时间索引单元和字段索引单元, 时间索引单元采用时间 索引方式, 其预先生成X年的时间索引数据, 索引数据大小是X年  * 366天 * 12个字节, 12 个字节存储的是每一天数据的起始存储位置和结束存储位置; 字段索引单元设置为 14个字 节的索引单元, 14字节包括4个字节本条数据长度、 4个字节当前写入时间、 6个字节数据写 入位置。 3.根据权利要求1所述的用于解决大数据量高实时性并发处理的智能单表数据库, 其 特征在于: 其设置缓存模块, 每一个查询和统计请求的结果的索引都会被缓存到存储模块 上, 如果遇 到相同的查询和统计条件, 会直接将缓存结果传递给用户。 4.根据权利要求1所述的用于解决大数据量高实时性并发处理的智能单表数据库, 其 特征在于: 查询模块的索引单元设置完整索引、 多字段索引、 单一字段索引、 查询条件索引 方式。 5.根据权利要求3所述的用于解决大数据量高实时性并发处理的智能单表数据库, 其 特征在于: 数据库模块的写入 包括下列步骤: A、 当一条 数据到来时, 进入步骤B; B、 首先, 数据库将每个字段按照 “X个字节字段长度  + Y个字节数据 ”的模式, 将字段数 据转换为字节, 具体X和Y的值, 要 按照该字段的类型确定; C、 然后, 按照用户配置的字段顺序, 将字段拼接成一条完整的字节数据; D、 然后, 在完整的字节数据 最前面追加 “4个字节本条数据长度  + 4个字节当前写入时 间”; E、 最后将拼接好的数据作为本条数据的完整数据, 存储到完整的数据文件中, 并对文 件进行命名存 储; 存储结束以后, 会得到这条数据的完整索引模块: 4个字节当前写入时间、 4个字节本条 数据长度、 6个字节数据写入位置 。 6.根据权利要求4所述的用于解决大数据量高实时性并发处理的智能单表数据库, 其 特征在于: 得到本条数据的完整索引模块之后, 会对本条数据进 行总时间索引, 即每天12字 节的数据, 记录这一天的第一条数据和最后一条数据的存储位置, 生 成总时间索引文件, 本 条数据完整索引完毕。 7.根据权利要求5所述的用于解决大数据量高实时性并发处理的智能单表数据库, 其 特征在于: 得到本条数据的完整索引, 同时总时间索引结束后, 开始进行单一字段索引, 其 包括下列步骤: A、 读取本条数据的完整索引模块: 4个字节的写入时间、 6个字节完整数据的存储位置、 4个字节完整数据的字节长度、 X字节的字节长度、 Y 字节的字节数据;权 利 要 求 书 1/2 页 2 CN 114741394 A 2B、 首先确定该字段的类型; 确定X、 Y值; C、 得到字段数据之后, 将字段 数据按照数据写入方式, 写入到 字段数据文件中; D、 字段数据写入完成后, 得到字段数据的写入位置, 生成字段数据索引: 6个字节的字 段数据写入位置; E、 得到某个字段的字段数据索引之后, 按照时间索引方式, 将字段数据索引写入到字 段时间文件中, 并对文件进行命名; F、 字段数据写入完成后, 得到字段数据的写入位置, 生成字段数据索引: 6个字节的字 段数据写入位置; G、 按照时间索引方式, 将字段数据索引写入到字段时间文件中, 字段时间数据在字段 数据文件的最前面。 8.根据权利要求6所述的用于解决大数据量高实时性并发处理的智能单表数据库, 其 特征在于: 完成步骤6的单一字段的索引之后, 开始多字段索引, 将用户频繁查询的字段, 放 在一起进行索引: A、 按照用户配置的多字段信息, 首先, 将每个字段按照 “X个字节字段长度  + Y个字节 数据”的模式, 将字段 数据转换为字节, 具体X和Y的值, 要 按照该字段的类型; B、 然后, 按照用户配置的字段顺序, 将字段拼接成多字段字节数据; C、 最后将拼接好得多字段字节数据, 存储到多字段数据文件中, 然后对文件进行命名 存储; D、 得到多字段索引的存储位置之后, 按照时间索引方式, 将时间索引存储到多字段数 据文件的最前面。 9.根据权利要求7所述的用于解决大数据量高实时性并发处理的智能单表数据库, 其 特征在于: 查询条件索引方式是在数据写入时, 就按照查询条件将数据进行提前索引以备 查询。 10.根据权利要求5或6或7或8所述的用于解决大数据量高实时性并发处理的智能单表 数据库, 其特征在于: 当要进行查询时, 接收查询请求后, 首先判断查询条件之前是否查询 过, 如果查询过, 直接从查询缓存文件中, 按照 指定的存储位置, 将指 定的数据读取出来; 如 果之前没有查询过, 先根据字段时间索引方式, 计算出字段的起始存储位置和结束存储位 置, 然后提取出该字段的数据, 按照 “4个字节的写入时间、 6个字节完整数据的存储位置、 4 个字节完整数据的字节长度、 X字节的字节长度、 Y字节的字节数据 ”的格式, 将每条字段数 据还原出来, 然后将上述 查询存储为查询索引。权 利 要 求 书 2/2 页 3 CN 114741394 A 3

.PDF文档 专利 用于解决大数据量高实时性并发处理的智能单表数据库

文档预览
中文文档 10 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共10页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 用于解决大数据量高实时性并发处理的智能单表数据库 第 1 页 专利 用于解决大数据量高实时性并发处理的智能单表数据库 第 2 页 专利 用于解决大数据量高实时性并发处理的智能单表数据库 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 00:16:07上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。