(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210524751.8 (22)申请日 2022.05.13 (71)申请人 奇安信科技 集团股份有限公司 地址 100088 北京市西城区新 街口外大街 28号102号楼3层3 32号 申请人 奇安信网神信息技 术 （北京） 股份有 限公司 (72)发明人 刘进　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 孟省 (51)Int.Cl. G06F 16/215(2019.01) G06F 16/2455(2019.01) G06F 16/22(2019.01) (54)发明名称 流式数据处 理方法及装置 (57)摘要 本发明实施例提供一种流式数据处理方法 及装置。 其中， 该方法包括： 根据当前的目标日志 确定对应的配置参数； 响应于接收到用户选中的 至少一个规则， 根据至少一个规则和配置参数确 定目标模型， 目标模型的数据处理能力与目标日 志匹配； 根据目标模型， 通过关联分析引擎对目 标日志进行处理， 得到并存储对应的流量分析结 果； 读取预设时间段的流量分析结果， 通过布隆 过滤器对预设时间段的流量分析结果进行全局 判重和全局统计， 得到全局流量分析结果， 并将 全局流量分析结果保存在数据库。 实现了对实时 的流式数据的判重、 归并、 计数、 加白和分组。 权利要求书2页 说明书8页 附图3页 CN 115062002 A 2022.09.16 CN 115062002 A 1.一种流式数据处 理方法， 其特 征在于， 所述方法包括： 根据当前的目标日志确定对应的配置参数； 响应于接收到用户选中的至少一个规则， 根据所述至少一个规则和所述配置参数确定 目标模型， 所述目标模型的数据处 理能力与所述目标日志的大小匹配； 根据所述目标模型， 通过关联分析引擎对所述目标日志进行处理， 得到并存储对应的 流量分析结果； 读取预设时间段的流量分析结果， 通过布隆过滤器对所述预设时间段的流量分析结果 进行全局判重和全局统计， 得到全局 流量分析结果， 并将所述全局 流量分析结果保存在数 据库。 2.根据权利要求1所述的流式数据处理方法， 其特征在于， 所述关联分析引擎包括 Sabre引擎。 3.根据权利要求1至2任一项所述的流式数据处理方法， 其特征在于， 所述配置参数包 括以下至少一项： 对应所述目标日志的流量大小、 对应所述目标日志的黑名单、 对应所述目 标日志的存 储地址、 对应所述目标日志的目标字段和对应所述目标日志的归并字段。 4.根据权利要求1至2任一项所述的流式数据处理方法， 其特征在于， 所述根据当前的 目标日志确定对应的配置参数之前， 还 包括： 预设至少一个初始规则， 所述至少一个初始规则用于被用户选择。 5.根据权利要求1至2任一项所述的流式数据处理方法， 其特征在于， 所述读取预设时 间段的流量分析结果， 通过布隆过滤器对所述预设时间段的流量分析结果进 行全局判重和 全局统计， 得到全局流 量分析结果， 并将所述全局流 量分析结果保存在数据库， 包括： 读取预设时间段的流量分析结果， 通过布隆过滤器对所述预设时间段的流量分析结果 进行全局判重和全局统计， 得到全局流 量分析结果； 将所述全局流 量分析结果换算 为对应的二进制向量并保存在所述布隆过 滤器中； 将所述全局流 量分析结果保存在数据库。 6.根据权利要求5所述的流式数据处 理方法， 其特 征在于， 所述方法还 包括： 设置定时删除任务， 根据所述定时删除任务清理所述数据库中的数据， 以及将所述布 隆过滤器中的对应所述数据的二进制向量置零。 7.根据权利要求1所述的流式数据处理方法， 其特征在于， 所述根据所述目标模型， 通 过关联分析引擎对所述目标日志进行处 理， 包括： 根据所述目标模型， 通过关联分析引擎对所述目标日志进行判重、 归并、 计数、 加白和 分组。 8.一种流式数据处 理装置， 其特 征在于， 所述方法包括： 第一处理模块， 用于根据当前的目标日志确定对应的配置参数； 第二处理模块， 用于响应于接收到用户选中的至少一个规则， 根据所述至少一个规则 和所述配置参数确定目标模型， 所述目标模型的数据处理能力与所述目标日志的大小匹 配； 第三处理模块， 用于根据 所述目标模型， 通过关联分析引擎对所述目标日志进行处理， 得到并存 储对应的流 量分析结果； 第四处理模块， 用于读取预设时间段的流量分析结果， 通过布隆过滤器对所述预设时权　利　要　求　书 1/2 页 2 CN 115062002 A 2间段的流量分析结果进行全局判重和全局统计， 得到全局 流量分析结果， 并将所述全局 流 量分析结果保存在数据库。 9.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至6任一项所 述的流式数据处 理方法的步骤。 10.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算 机程序被处 理器执行时实现如权利要求1至 6任一项所述的流式数据处 理方法的步骤。 11.一种计算机程序产品， 其上存储有可执行指令， 其特征在于， 该指令被处理器执行 时使处理器实现如权利要求1至 6中任一项所述 流式数据处 理方法的步骤。权　利　要　求　书 2/2 页 3 CN 115062002 A 3