(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211224109.4 (22)申请日 2022.10.09 (71)申请人 天津南大通用数据技 术股份有限公 司 地址 300384 天津市滨 海新区华苑产业区 海泰发展六道6号海泰绿色产业基地 J 座 (72)发明人 吴明远　李龙　 (74)专利代理 机构 天津企兴智财知识产权代理 有限公司 12 226 专利代理师 石倩倩 (51)Int.Cl. G06F 16/2455(2019.01) G06F 16/22(2019.01) G06F 16/25(2019.01) (54)发明名称 一种切分数据块的方法及装置 (57)摘要 本发明提供的一种切分数据块的方法及装 置， 根据加载文件数据大小及加载所述加载文件 的节点个数确定各个节点的加载信息， 所述节点 基于加载信息内的偏移地址确定从加载文件中 加载数据的起始位置， 并进行数据加载； 根据所 述数据加载过程中的统计信息判断该节点加载 是否结束， 并判断缓冲数据的缓冲区所缓冲的数 据量是否超 过设定阈值， 若加载结束或超过设定 阈值则进行缓冲区切换； 将临时缓存在缓冲区的 数据存储至所述节点对应的存储位置， 可以同时 进行多个节 点的数据缓存， 充分调用多个计算节 点并行加载数据。 权利要求书2页 说明书4页 附图1页 CN 115292373 A 2022.11.04 CN 115292373 A 1.一种切分数据块的方法， 其特征在于， 根据加载文件数据大小及加载所述加载文件 的节点个数确定各个节点的加载信息， 具体步骤 包括： S1、 所述节点基于加载信息内的偏移地址确定从加载文件中加载数据的起始位置， 并 进行数据加载； S2、 根据所述数据加载过程中的统计信息判断该节点加载是否结束， 并判断缓冲数据 的缓冲区所缓冲的数据量是否超过设定阈值， 若加载结束或超过设定阈值则进行缓冲区切 换； S3、 将临时缓存在缓冲区的数据存 储至所述节点对应的存 储位置。 2.根据权利要求1所述的一种切分数据块的方法， 其特征在于， 根据加载文件数据 大小 及加载所述加载文件的节点个数确定各个节点的加载信息， 具体方法如下： 根据加载文件数据大小， 将加载文件的数据均分到所有用于加载所述加载文件的节 点， 确定每 个节点的加载信息 。 3.根据权利要求1所述的一种切分数据块的方法， 其特征在于， 所述加载信 息包括偏移 地址和数据长度， 所述偏移地址为节点对应加载文件进行数据加载起始位置， 所述数据长 度为节点加载加载文件的数据长度。 4.根据权利要求1所述的一种切分数据块的方法， 其特征在于， 步骤S1中， 所述节点基 于加载信息内的偏移地址确定从加载文件中加载 数据的起始位置， 并进行 数据加载， 包括： 若加载信息内的偏移地址为 零， 数据加载步骤如下： S101、 加载文件中加载数据的起始位置之前无数据， 从偏移地址对应加载文件的数据 位置加载 数据至接收缓存； S102、 所述接收缓存 存储到设定条件， 将接收缓存中的数据缓存到缓冲区； S103、 接收缓存从加载文件中根据上一次结束缓存的位置开始继续进行 数据缓存； S104、 重复步骤S102 ‑S103； 若加载信息内的偏移地址不 为零， 数据加载步骤如下： S111、 从所述偏移地址对应加载文件的数据位置开始加载数据至接收缓存， 并从所述 数据位置向后查找分隔符； S112、 若找到分隔符则将分隔符后面的数据重新从接收缓存的初始位置进行覆盖原有 数据的缓存； S113、 所述接收缓存 存储到设定条件， 将接收缓存中的数据缓存到缓冲区； S114、 接收缓存从加载文件中根据上一次结束缓存的位置开始继续进行 数据缓存； S115、 重复步骤S1 13‑S114。 5.根据权利要求4所述的一种切分数据块的方法， 其特征在于， 所述统计信 息的具体获 取步骤如下： 统计信息统计所述节点加载本次加载文件时， 对应的接收缓存中缓存过的所有数据的 数据长度。 6.根据权利要求5所述的一种切分数据块的方法， 其特征在于， 根据所述数据加载过程 中的统计信息判断该节点加载 是否结束， 具体方法包括： 根据统计信 息中统计的加载数据长度与 所述节点需要加载数据长度对比， 若等于或超 过所述节点需要加载的数据长度， 则加载 结束。权　利　要　求　书 1/2 页 2 CN 115292373 A 27.根据权利要求1所述的一种切分数据块的方法， 其特征在于， 步骤S2中， 若加载结束 则进行缓冲区切换， 具体方法如下： 若加载结束， 则从当前数据加载位置开始查找分隔符并继续将数据缓存至接收缓存， 直至找到所述分隔符， 将接 收缓存中的数据缓存到缓冲区， 将所述分隔符后面的数据重新 从接收缓存的初始位置进行覆盖原有数据的缓存。 8.根据权利要求1所述的一种切分数据块的方法， 其特征在于， 步骤S2中， 若超过设定 阈值则进行缓冲区切换， 具体方法如下： 若超过设定阈值， 则设置缓冲区满标志， 并从当前数据加载位置开始查找分隔符并继 续将数据缓存至接收缓存， 直至找到所述分隔符， 将接收缓存中的数据缓存到缓冲区， 将所 述分隔符后面的数据重新从接收缓存的初始位置进行覆盖原有数据的缓存。 9.一种切分数据块的装置， 其特征在于， 包括数据获取模块、 数据加载模块、 缓冲区切 换模块和数据存 储模块， 所述数据获取模块用于根据加载文件数据大小及加载所述加载文件的节点个数确定 各个节点的加载信息； 所述数据加载模块用于所述节点基于加载信息内的偏移地址确定从加载文件中加载 数据的起始位置， 并进行 数据加载； 所述缓冲区切换模块用于根据所述数据加载过程中的统计信息判断该节点加载是否 结束， 并判断缓冲数据的缓冲区所缓冲的数据量是否超过设定阈值， 若加载结束或超过设 定阈值则进行缓冲区切换； 所述数据存 储模块用于将临时缓存在缓冲区的数据存 储至所述节点对应的存 储位置。权　利　要　求　书 2/2 页 3 CN 115292373 A 3