(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210321024.1 (22)申请日 2022.03.30 (65)同一申请的已公布的文献号 申请公布号 CN 114419106 A (43)申请公布日 2022.04.29 (73)专利权人 深圳市海清视讯科技有限公司 地址 518000 广东省深圳市宝安区西乡街 道固戍开发区泰华梧桐工业园8号建 筑3层 (72)发明人 周波　梁书玉　苗瑞　邹小刚　 田晨　 (74)专利代理 机构 北京同立钧成知识产权代理 有限公司 1 1205 专利代理师 马明明　刘芳 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/269(2017.01) G06T 5/00(2006.01)G06T 5/40(2006.01) G06V 10/762(2022.01) G06V 10/764(2022.01) G06K 9/62(2022.01) (56)对比文件 CN 109727273 A,2019.0 5.07 CN 107330910 A,2017.1 1.07 CN 108986474 A,2018.12.1 1 CN 10823 0667 A,2018.0 6.29 CN 109102523 A,2018.12.28 CN 109816 692 A,2019.0 5.28 US 2014071286 A1,2014.0 3.13 US 2020065615 A1,2020.02.27 CN 103345618 A,2013.10.09 林亚忠 等.改进的模糊C均值聚类算法. 《临 床医学工程》 .2013,第20卷(第4期),第385 -388 页. 审查员 彭玉静 (54)发明名称 车辆违章行为检测方法、 设备及存 储介质 (57)摘要 本申请实施例提供一种车辆违章行为检测 方法、 设备及存储介质， 该方法包括获取待处理 图像， 并对待处理图像进行预处理， 获得预处理 后的目标图像， 基于光流算法， 对目标图像进行 运动目标检测， 获得多个运动目标的检测结果， 针对每个运动目标的跟踪窗口， 根据目标图像的 各图像帧中运动目标对应的光流信息分别确定 对应图像帧中跟踪窗口的目标初始值， 并根据目 标初始值， 基于目标跟踪算法， 确定跟踪窗口的 中心位置和大小， 针对每个运动目标的跟踪窗 口， 根据跟踪窗口的中心位置和大小的变化信 息， 确定运动目标的运动信息， 并对运动目标是 否存在车辆违章行为进行检测， 获得违章检测结 果。 本申请实施例可以提高违章行为的检测准确 度。 权利要求书3页 说明书12页 附图4页 CN 114419106 B 2022.07.22 CN 114419106 B 1.一种车辆违章行为检测方法， 其特 征在于， 包括： 获取待处理图像， 并对所述待处理图像进行预处理， 获得预处理后的目标图像； 所述待 处理图像包括多个连续的图像帧； 基于光流算法， 对所述目标图像进行运动目标检测， 获得多个运动目标的检测结果； 所 述检测结果包括对应运动目标的光 流信息； 针对每个运动目标的跟踪窗口， 根据 所述目标图像的各图像帧中所述运动目标对应的 光流信息分别确定对应图像帧中所述跟踪窗口的目标初始值， 并根据各图像帧中所述跟踪 窗口的目标初始值， 基于目标跟踪算法， 确定所述 目标图像的各图像 帧中所述跟踪窗口的 中心位置和大小； 针对每个运动目标的跟踪窗口， 根据 所述目标图像的各图像帧中所述跟踪窗口的中心 位置和大小的变化信息， 确定所述运动目标 的运动信息， 并根据所述运动信息对所述运动 目标是否存在车辆违章行为进行检测， 获得违章检测结果； 所述根据所述目标图像的各图像帧中所述运动目标对应的光流信息分别确定对应图 像帧中所述跟踪窗口 的目标初始值， 包括： 针对每个图像帧， 根据 所述运动目标对应的光流信 息确定所述运动目标对应的跟踪窗 口的第一初值； 获取预设的所述运动目标对应的跟踪窗口的第 二初值； 所述预设的第 二初值是对所述 目标图像的各图像帧进行 人工标定获得的； 将所述第一初值和所述第二初值之间的平均值， 确定为所述目标初始值； 所述平均值 为加权平均值； 所述根据各图像帧中所述跟踪窗口的目标初始值， 基于目标跟踪算法， 确定所述目标 图像的各图像帧中所述跟踪窗口 的中心位置和大小， 包括： 根据当前图像帧中所述跟踪窗口的目标初始值和上一图像帧中所述跟踪窗口的中心 位置和大小， 确定当前图像帧中所述跟踪窗口 的质心位置； 根据所述跟踪窗口的质心位置， 迭代计算获得当前图像帧中所述跟踪窗口的中心位置 和大小； 所述根据当前图像帧中所述跟踪窗口的目标初始值和上一图像帧中所述跟踪窗口的 中心位置和大小， 确定当前图像帧中所述跟踪窗口 的质心位置， 包括： 根据上一图像帧中所述跟踪窗口的中心位置和大小， 基于卡尔曼滤波算法， 获得卡尔 曼预测值； 根据所述卡尔曼预测值和当前图像帧中所述跟踪窗口的目标初始值， 确定当前图像帧 中所述跟踪窗口 的质心位置 。 2.根据权利要求1所述的方法， 其特征在于， 所述对所述待处理图像进行预处理， 获得 预处理后的目标图像， 包括： 对所述待处 理图像进行直方图均衡化处 理， 和/或， 伽马校正处 理， 获得所述目标图像。 3.根据权利要求1所述的方法， 其特征在于， 所述基于光流算法， 对所述目标图像进行 运动目标检测， 获得多个运动目标的检测结果， 包括： 对所述目标图像进行 特征提取， 获得运动目标的目标 特征点； 根据光流确定算法， 计算获得 各所述目标 特征点的光 流信息；权　利　要　求　书 1/3 页 2 CN 114419106 B 2根据各所述目标特征点的光流信息， 对多个所述目标特征点进行聚类， 获得多个运动 目标。 4.根据权利要求3所述的方法， 其特征在于， 所述根据各所述目标特征点的光流信息， 对多个所述目标 特征点进行聚类， 包括： 基于各所述目标 特征点的光 流信息， 构建样本集； 确定目标聚类 个数和目标聚类中心； 根据所述目标聚类个数和所述目标聚类中心， 对各样本进行分类， 获得目标聚类中心 和各样本之间的对应关系； 若存在对应样本数小于预设数量的目标聚类中心， 则将对应样本数小于预设数量的目 标聚类中心进行删除， 获得删除后的目标聚类中心和删除后的目标聚类个数， 并基于删除 后的目标聚类中心和删除后的目标聚类个数重新确定新的目标聚类个数和 新的目标聚类 中心； 基于所述新的目标聚类个数和所述新的目标聚类中心， 对各样本进行重新分类， 获得 新的目标聚类中心和各样本之间的对应关系。 5.根据权利要求4所述的方法， 其特征在于， 所述确定目标聚类个数和目标聚类中心， 包括： 获取聚类 个数初值和聚类中心初值； 根据所述聚类个数初值和聚类中心初值， 对各聚类中心， 以及每个样本分别对应于各 聚类中心的隶属度进行迭代计算， 直至满足迭代停止条件， 获得目标聚类个数和目标聚类 中心。 6.根据权利要求5所述的方法， 其特征在于， 所述对各聚类中心， 以及每个样本分别对 应于各聚类中心的隶属度进行迭代计算， 包括： 若当前迭代次数大于1， 则计算上次迭代中每个样本分别与对应于不同聚类中心 的隶 属度之间的乘积， 并计算各乘积的总和， 获得第二总值， 并计算上次迭代中每个样本对应于 不同聚类中心的隶属度的总和， 获得第三总值， 根据所述第二总值与所述第三总值之间的 比值， 确定当前迭代的各聚类中心； 针对每个样本和每个当前迭代的聚类中心， 计算当前样本分别与各聚类中心之间的第 一距离， 并计算各第一距离的总和， 获得第一总值， 并计算当前样本与当前聚类中心之 间的 第二距离， 根据所述第一总值和所述第二距离之间的比值， 确定当前样本对应于当前聚类 中心的隶属度， 以在下次迭代中基于当前样本对应于当前聚类中心的隶属度， 确定下次迭 代的各聚类中心。 7.根据权利要求1 ‑6任一项所述的方法， 其特征在于， 所述根据 所述跟踪窗口的运动信 息， 对所述 运动目标 是否存在车辆违章行为进行检测， 获得违章检测结果， 包括： 根据所述 运动目标的运动信息， 确定所述 运动目标的行驶方向； 若所述运动目标的行驶方向与所在车道允许行驶方向相反， 则判定所述运动目标存在 违章行为； 确定信号灯检测区域； 若所述运动目标进入所述信号灯检测区域， 则获取信号灯的颜色； 若所述信号灯的颜色为红色， 则判断车辆是否越过虚拟停车线；权　利　要　求　书 2/3 页 3 CN 114419106 B 3