(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210828252.8 (22)申请日 2022.07.13 (71)申请人 昆明理工大 学 地址 650093 云南省昆明市五华区学府路 253号 (72)发明人 黄亮　裘木兰　唐伯惠　陈国坤　 许安泽　朱娟娟　田秋媛　 (74)专利代理 机构 昆明合盛知识产权代理事务 所(普通合伙) 53210 专利代理师 王丹丹 (51)Int.Cl. G06V 10/762(2022.01) G06V 10/42(2022.01) G06V 10/82(2022.01) G06V 10/766(2022.01)G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 20/56(2022.01) G06V 20/58(2022.01) G06N 3/04(2006.01) (54)发明名称 一种多尺度特征融合的道路交通多要素检 测方法 (57)摘要 本发明公开了一种多尺度特征融合的道路 交通多要素检测方法， 其特征在于， 利用k ‑means ++算法对多尺度道路交通要素范围进行聚类统 计， 得到适合本文数据集的候选框大小； 接着通 过 加 速 空 间 金 字 塔 池 化 (SpatialPyr amidPoolingFast,SPPF)结构提升 分类精度和速度， 同时实现更丰富的特征信息提 取 ；提 出 了 一 种 融 合 感 受 野 模 块 (ReceptiveFieldBlock,RFB)的ASFF策 略， 提高 了特征尺度不变性， 提升了小目标的检测 效果； 最 后 通 过 计 算 平 均 精 度 均 值 (meanaverageprecision,mAP)来评估实验效果。 本方法可解决道路交通多要素错检、 漏检的问 题， 提升了道路交通多要素中小目标、 密集型目 标的检测精度。 权利要求书1页 说明书13页 附图7页 CN 115205568 A 2022.10.18 CN 115205568 A 1.一种多尺度特 征融合的道路交通多 要素检测方法， 其特 征在于， 具体包括以下步骤： S1、 采集道路交通多 要素数据集； 要素包括： 斑马线、 路边停车位、 公交车站台； S2、 利用k ‑means++聚类算法对S1中采集的数据 集进行预处理， 得到与道路交通多要素 数据集相匹配的候选 框尺寸； 通过k‑means++簇心计算的方式得到初始簇心， 然后再运行k ‑means聚类算法得到聚类 结果， 将道路交通要素尺度定义为9个簇， 通过k ‑means++聚类算法计算得到目标候选框尺 寸； S3、 利用ASFF ‑YOLOv5网络对数据集的特征图进行特征提取， 所述ASFF ‑YOLOv5网络由 主干特征提取网络、 特征图金字塔网络以及分类器与回归器这三部分组成， 具体包括如下 步骤： S3.1、 在主干特征提取网络中不断进行残差堆叠提取获得三个有效特征层， 且在最后 一个有效特征层中通过引入SPPF结构， 同时通过使用相同池化核的最大池化进行特征提 取； S3.2、 将上述S3.1、 得到的有效特征层传输至PANet结构中， 通过上、 下采样进一步加强 特征提取， 其间融合ASF F+RFB模块， 对多尺度道路交通要素信息的提取； S3.3、 在特 征金字塔中实现对S3.2中提取的多尺度道路交通要素进行 特征融合； S3.4、 得到三个加强后的有效特 征层， 通过分类 器与回归器得到预测 和回归结果； S4、 最后通过检测头 输出道路交通多 要素的检测结果并对其进行精度评价。 2.根据权利要求1所述一种 多尺度特征融合的道路交通多要素检测方法， 其特征在于， 所述S3.1 中SPPF结构将原SPP中3个不同大小 卷积核的并行最大池化操作改为3个相同大小 的卷积核 串行操作。 3.根据权利要求2所述一种 多尺度特征融合的道路交通多要素检测方法， 其特征在于， 所述SPPF结构首先对CBS结构传输进来的数据串列进行5 ×5的最大池化操作， 再通过 concat拼接方式连接传入至 CBS结构中， 提取 特征信息。 4.根据权利要求1所述一种 多尺度特征融合的道路交通多要素检测方法， 其特征在于， 所述S3.2中ASFF ‑YOLOv5算法将ASFF结构融合至PANet结构中， 首先对FPN结构自顶向下加 强语义特 征提取后， 在每一层的FPN结构中都引入ASF F算法进行加权融合。 5.根据权利要求4所述一种 多尺度特征融合的道路交通多要素检测方法， 其特征在于， 所述在ASF F算法后引入了一层RFB模块， 在I nception的基础上融合空洞卷积。权　利　要　求　书 1/1 页 2 CN 115205568 A 2一种多尺度特征融合的道路交通多要素检测方 法 技术领域 [0001]本发明属于道 路交通状况监测技术领域， 具体涉及一种多尺度特征融合的道路交 通多要素检测方法。 背景技术 [0002]道路交通要素是构成道 路的重要组成部分， 是构建交通基础地理信息数据库的主 要内容， 对发展交通基础地理信息尤为重要。 道路交通要素信息主要包括道路中心线、 道路 交叉口、 斑马线、 公交车站 台、 路内停车位等信息[1]， 对其准确识别与检测可为 自动驾驶、 完善智能交通系统、 推进智慧城市以及更新交通基础地理信息数据库提供了重要的数据支 撑。 当前， 多数学者的研究是基于单要素的交通标志牌的检测与识别、 路网信息的提取、 路 况的实时监测 等， 对道路交通多要素信息提取 的研究较少 。 但道路交通多要素信息的检测 与识别对更新交通基础地理信息数据库有着重要价值。 传统的车载相机由于拍摄范围有 限， 只能获取到小部分的道路交通要素信息， 不利于大面积的交通要素信息获取。 [0003]深度学习有着适应性强， 应用范围广， 检测效果好等特点， 被越来越多的学者们关 注并应用于实际工作中。 基于深度学习的目标检测可分为两类： 1)一阶段检测。 直接通过卷 积神经网络进行提取特征预测目标分类与定位， 以SSD、 YOLO系 列等为代表。 2)两阶段检测。 先生成候选区域， 再通过卷积神经网络预测目标分类与定位， 以R ‑CNN、 Fast  R‑CNN、 Faster   R‑CNN等为代表。 例如Lin等提出了一种 基于YOLOv4 ‑tiny和卷积模糊神经网络的智能交通 监控系统。 该系统通过将融合方法与模糊神经网络相结合， 设计了卷积模糊神经网络和向 量卷积模糊神经网络方法。 通过该方法可有效地减少网络参数的个数， 提高分类精度， 实现 交通流量和车辆类型分类检测； Zhu等提出了一种基于图像大数据的道路交通态势感知系 统。 该系统对交通态势感知系统进行了研究， 将卷积神经网络用于道路图像大数据中的车 辆分类和位置识别， 建立了基于道路交通图像大数据的深卷积神经网络模型； Tian等提出 了一种基于多尺度循环注意力网络的交通标志检测方法。 该方法通过循环注意力将相 邻层 的相关上下文细节合并到检测 体系结构中实现交通标志的检测； Zhang等提出了一种基于 多尺度和样 本不平衡的级 联R‑CNN交通标志检测方法。 该方法通过级 联的R‑CNN来获取金字 塔中的多尺度特征， 利用点积和Softmax提取加权多尺度特征， 实现对小尺 寸交通标志以及 复杂环境下的交通标志的检测； Chen等提出一种改进Mask  R‑CNN的方法实现路面交通标志 识别。 该方法通过改进Mask  R‑CNN算法， 解决了对 阴影区路标、 遮挡路标以及磨损路标等无 法识别或识别精度低的问题， 实现了对路面交通标志的自动检测与识别。 [0004]随着深度学习的发展， 目标检测经历着从传统方法到深度学习方法的转变。 目前， 国内外学者对于目标检测开展了许多研究工作。 目标检测已被广泛的应用于各行各业中， 如病理检测、 人脸识别、 农产品虫害识别、 自动 驾驶、 文本检测等领域中。 传统的目标检测方 法通常是基于颜色、 纹理、 形状或者是一些中高层次语义特征的方法。 如Zhang等通过基于 像素向量的自适应颜色分割方法将彩色图像分割成二值图像， 突出交通标志 区域， 降低光 照对图像分割的影响。 并通过形状特征实现从自然场景图像中检测出道路交通标志；说　明　书 1/13 页 3 CN 115205568 A 3