(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210743546.0 (22)申请日 2022.06.28 (71)申请人 苏州体素信息科技有限公司 地址 215600 江苏省苏州市 保税区华达路 36号新兴产业育成中心 A栋217室 (72)发明人 陈伟睿　王子龙　丁晓伟　张政　 (74)专利代理 机构 上海锻创知识产权代理有限 公司 314 48 专利代理师 韩冰 (51)Int.Cl. H04N 21/231(2011.01) H04N 21/234(2011.01) H04N 21/433(2011.01) H04N 21/44(2011.01) G06F 16/2455(2019.01)G06F 16/71(2019.01) (54)发明名称 视频流处 理方法及系统 (57)摘要 本发明提供了一种视频流处理方法及系统， 包括： 步骤S1： 将视频数据解析生成帧数据， 基于 标识机制将帧数据存入固定大小的连续缓存中； 步骤S2： 基于标识机制将缓存中的帧数据利用多 线程分别批量获取对应的连续帧数据并进行推 理处理； 当当前缓存中的帧数据推理结束时， 则 重新获取视频中待解析的视频数据， 并将重新获 取的帧数据覆盖原缓存内容存入固定大小的连 续缓存中， 重复触发步骤S2， 直至所有视频帧信 息处理完成； 步骤S3： 将每次推理处理的结果按 照帧顺序拼接整合得到最终推理结果。 权利要求书2页 说明书8页 附图2页 CN 115334332 A 2022.11.11 CN 115334332 A 1.一种视频流处 理方法， 其特 征在于， 包括： 步骤S1： 将视频数据解析生成帧数据， 基于标识机制将帧数据存入固定大小的连续缓 存中； 步骤S2： 基于标识机制将 缓存中的帧数据利用多线程分别批量获取对应的连续帧数据 并进行推理处理； 当当前缓存中的帧数据推理结束时， 则重新获取视频中待解析 的视频数 据， 并将重新 获取的帧数据覆盖原缓存内容存入固定大小的连续 缓存中， 重复触发步骤S2， 直至所有视频帧信息处 理完成； 步骤S3： 将每次推理 处理的结果按照帧顺序拼接整合得到最终推理结果； 所述标识机制是通过标识记录当前视频帧解析进度， 确定固定大小缓存上每块数据存 储槽上数据的具体状态和状态变化， 实现使用固定大小的连续缓存完成视频流的推理处 理。 2.根据权利 要求1所述的视频流处理方法， 其特征在于， 所述标识机制采用： 利用flagA 标识当前写入缓存帧进度； 利用flagB标识当前已处理缓存帧进度； 利用flagC标识处理中 帧进度； 所述flagA标识控制缓存区域中视频帧解析后写入的地址位置； 所述flagB标识控制缓存区域中已经完成所有推理处理， 能够被新的帧数据后续覆盖 的地址位置； 所述flagC标识控制缓存区域中处理线程获取待处理的固定大小连续帧数据的地址位 置。 3.根据权利要求2所述的视频流处理方法， 其特征在于， 所述步骤S1采用： 从缓存起始 位置写入数据， 每向缓存中写入一帧数据后， flagA加一； 当flagA/N取余的帧标识地址小于 已处理帧标识flagB/N取余的帧标识地址时， 解析帧信息并将帧解析数据写入flagA/N取余 的帧标识地址， 否则， 等待直到fla gB更新后继续 解析帧信息； 其中， N表示连续缓存帧数量。 4.根据权利要求2所述的视频流处理方法， 其特征在于， 所述步骤S2采用： 使用长度为M 的数组记录视频中每个帧的处理计数， 数组中第i位的值记录视频中第i帧的已处理次数； 输入连续P帧的帧数据且推理完成后， 将当前数 组中对应帧的处理计数加一， 同时判断当前 缓存帧标识是否需要更新， 当需要更新时， 更新当前缓存帧标识。 5.根据权利要求4所述的视频流处理方法， 其特征在于， 所述判断当前缓存帧标识是否 需要更新， 当需要更新时， 更新当前缓存帧标识采用： 查找数组flagB位置后， 当长度为M的 数组中值不等于P/Q的值的最小索引值减一更新flagB； 其中， P表示每次推理处理连续帧 数； Q表示推理帧间隔； 当P＝Q时， 不同推理线程之间将不会有重叠的帧信息作为输入进行 推理； 根据flagC地址取连续P帧数据进行推 理， 并将flagC加Q； 如果flagC+P≥flagA且flagA 未达到视频总帧数， 消费线程将等待直到flagA更新后继续尝试取P帧数据做推理； 其中， flagC会从Q‑P处开始取对应帧数据， 当对应帧不存在时， 帧数据以0填充。 6.根据权利要求1所述的视频流处理方法， 其特征在于， 连续缓存的大小以及缓存帧数 量由输入视频 元信息中单帧数据大小、 内存资源以及多 线程并发情况控制选取的。 7.一种视频流处 理系统， 其特 征在于， 包括： 模块M1： 将视频数据解析生成帧数据， 基于标识机制将帧数据存入固定大小的连续缓权　利　要　求　书 1/2 页 2 CN 115334332 A 2存中； 模块M2： 基于标识机制将 缓存中的帧数据利用多线程分别批量获取对应的连续帧数据 并进行推理处理； 当当前缓存中的帧数据推理结束时， 则重新获取视频中待解析 的视频数 据， 并将重新 获取的帧数据覆盖原缓存内容存入固定大小的连续 缓存中， 重复触发模块M2， 直至所有视频帧信息处 理完成； 模块M3： 将每次推理 处理的结果按照帧顺序拼接整合得到最终推理结果； 所述标识机制是通过标识记录当前视频帧解析进度， 确定固定大小缓存上每块数据存 储槽上数据的具体状态和状态变化， 实现使用固定大小的连续缓存完成视频流的推理处 理。 8.根据权利 要求7所述的视频流处理系统， 其特征在于， 所述标识机制采用： 利用flagA 标识当前写入缓存帧进度； 利用flagB标识当前已处理缓存帧进度； 利用flagC标识处理中 帧进度； 所述flagA标识控制缓存区域中视频帧解析后写入的地址位置； 所述flagB标识控制缓存区域中已经完成所有推理处理， 能够被新的帧数据后续覆盖 的地址位置； 所述flagC标识控制缓存区域中处理线程获取待处理的固定大小连续帧数据的地址位 置。 9.根据权利要求8所述的视频流处理系统， 其特征在于， 所述模块M1采用： 从缓存起始 位置写入数据， 每向缓存中写入一帧数据后， flagA加一； 当flagA/N取余的帧标识地址小于 已处理帧标识flagB/N取余的帧标识地址时， 解析帧信息并将帧解析数据写入flagA/N取余 的帧标识地址， 否则， 等待直到fla gB更新后继续 解析帧信息； 其中， N表示连续缓存帧数量； 所述模块M2采用： 使用长度为M的数组记录视频中每个帧的处理计数， 数组中第i位的 值记录视频中第i帧的 已处理次数； 输入连续P帧的帧数据且推理完成后， 将当前数组中对 应帧的处理计数加一， 同时判断当前缓存帧标识是否需要更新， 当需要 更新时， 更新当前缓 存帧标识； 所述判断当前缓存帧标识是否 需要更新， 当需要更新 时， 更新当前缓存帧标识采用： 查 找数组flagB位置后， 当长度为M的数组中值不等于P/Q的值的最小索引值减一更新flagB； 其中， P表示每次推理处理连续 帧数； Q表示推理帧间隔； 当P＝Q时， 不同推理线程之间将不 会有重叠的帧信息作为输入进行推理； 根据flagC地址取连续P帧数据进行推 理， 并将flagC加Q； 如果flagC+P≥flagA且flagA 未达到视频总帧数， 消费线程将等待直到flagA更新后继续尝试取P帧数据做推理； 其中， flagC会从Q‑P处开始取对应帧数据， 当对应帧不存在时， 帧数据以0填充。 10.根据权利要求8所述的视频流处理系统， 其特征在于， 连续缓存的大小以及缓存帧 数量由输入视频 元信息中单帧数据大小、 内存资源以及多 线程并发情况控制选取的。权　利　要　求　书 2/2 页 3 CN 115334332 A 3