(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210802618.4 (22)申请日 2022.07.07 (71)申请人 浙江理工大 学 地址 310018 浙江省杭州市江干经济开发 区2号大街9 28号 (72)发明人 郑雨婷　吕文涛　余凯　王成群　 徐伟强　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 林超 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/25(2022.01) G06V 10/762(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 基于DR-RSBU- YOLOv5的织物瑕疵检测方法 (57)摘要 本发明公开了一种基于DR ‑RSBU‑YOLOv5的 织物瑕疵检测方法。 方法包括： 建立扩展织物图 像数据集； 划分为训练集和验证集； 搭建DR ‑ RSBU‑YOLOv5网络； 将训练集输入训练， 计算网络 的整体损失值并更新参数； 将验证集输入处理， 计算织物瑕疵类别的平均精确度值； 获得训练完 成的DR‑RSBU‑YOLOv5网络； 将 待检测织物图像 数 据集输入处理， 保留最终预测框并映射进行织物 瑕疵的检测定位。 本发明方法有效改善了织物图 像中的小疵点和噪声给中大目标织物瑕疵的检 测带来的干扰问题， 并提高了网络的精度和速 度， 加强了对织物瑕疵的检测能力并加快了检测 效率。 权利要求书4页 说明书11页 附图3页 CN 115187544 A 2022.10.14 CN 115187544 A 1.一种基于DR ‑RSBU‑YOLOv5的织物瑕疵检测方法， 其特 征在于： 包括如下步骤： S1)采集若干张带有织物瑕疵 的织物图像， 将每张织物图像依次进行织物瑕疵数据标 注和数据增强处理获得标注增强织物图像， 每张标注增强织物图像上均带有 经织物瑕疵数 据标注后获得的若干织物瑕疵的目标GT框， 所有织物图像和增强织物图像共同建立扩展织 物图像数据集， 扩展织物图像数据集包括若干张扩展织物图像； S2)使用Kmeans++聚类算法将扩展织物图像数据 集中的所有目标GT框进行聚类， 得到K 个先验框； S3)按照预设比例将扩展织物图像数据集进行划分， 获得训练集和验证集； S4)搭建DR ‑RSBU‑YOLOv5网络； S5)训练集中包括M张扩展织物图像， 选取训练集中的X张扩展织物图像输入DR ‑RSBU‑ YOLOv5网络中进行训练， 针对每张扩展织物图像， 均输出N张训练预测特 征图； S6)针对每张扩展织物图像的N张训练预测特征图， 将步骤S3)中的K个先验框均匀分布 到N张训练预测特征图上， 根据训练预测特征图对 K个先验框进 行调整， 分别获得K个训练预 测框， 根据目标GT框 选取其中的若干训练预测框作为训练候选 框； S7)根据训练候选框和目标GT框计算DR ‑RSBU‑YOLOv5网络的整体损失值， 将整体损失 值反向传播至DR ‑RSBU‑YOLOv5网络中， 并使用梯度下降法更新DR ‑RSBU‑YOLOv5网络的参 数； S8)针对训练集 中的每张扩展织物图像重 复步骤S5) ‑S7)进行处理， 当次选取的训练集 中的X张扩展织物图像输入上一次重复步骤S7)后参数更新的DR ‑RSBU‑YOLOv5网络中处理， 直至训练集中所有的扩展织物图像均经参数更新的DR ‑RSBU‑YOLOv5网络处理过， 获得此时 的DR‑RSBU‑YOLOv5网络作为预训练DR ‑RSBU‑YOLOv5网络； S9)验证集中包括若干张扩展织物图像， 将验证集中的每张扩展织物图像输入预训练 DR‑RSBU‑YOLOv5网络中处理， 均输出N张验证预测特征图； 对验证集中的每张扩展织物图像 的N张验证预测特征图进行步骤S6)中处理N张训练预测特征图的相同的处理， 获得若干验 证预测框， 根据目标GT框 选取若干验证预测框作为验证候选 框； 根据验证候选框和目标GT框计算验证集中各个织物瑕疵类别的精确度值AP， 并计算所 有精确度值AP的平均精确度值mAP； S10)重复步骤S8) ‑S9)， 直至多次获得的平均精确度值mAP等于一个固定值， 获得此时 的预训练DR ‑RSBU‑YOLOv5网络作为训练完成的DR ‑RSBU‑YOLOv5网络； S11)获取若干张带有织物瑕疵的待检测织物图像， 将每张待检测织物图像数据集输入 训练完成 的DR‑RSBU‑YOLOv5网络中处理， 均输出N张检测预测特征图； 对N张检测预测特征 图进行步骤S6)中处理N张训练预测特征图的相同的处理， 获得若干检测预测框； 使用非极 大值抑制NMS去除各个检测预测框中的冗余框， 保留的检测预测框作为最 终预测框； 将最 终 预测框映射至待检测织物图像中进行织物瑕疵的检测定位。 2.根据权利要求1所述的一种基于DR ‑RSBU‑YOLOv5的织物瑕疵检测方法， 其特征在于： 所述的步骤S1)中， 将每张织物图像依次进行织物瑕疵数据标注和数据增强处理获得标注 增强织物图像， 首先对每张织物图像中的每个织物瑕疵进行类别和位置的数据标注， 每个 织物瑕疵均被一个矩形的目标GT框完全框住， 每个目标GT框被标记为(class， xmin， ymin， xmax， ymax)， class表示目标GT框内所含织物瑕疵的类别， xmin和ymin分别表示目标GT框左权　利　要　求　书 1/4 页 2 CN 115187544 A 2上角顶点的x坐标和y坐标， xmax和ymax表示目标GT框右下角顶点的x坐标和y坐标； 然后使 用Mosaic数据增强处 理， 最终获得标注增强织物图像。 3.根据权利要求2所述的一种基于DR ‑RSBU‑YOLOv5的织物瑕疵检测方法， 其特征在于： 所述的步骤S2)中， 通过目标GT框的数据标记获取目标GT框的宽和高， 使用Kmeans++算法根 据目标GT框的宽和高对扩展织物图像数据集中的所有目标GT框进行聚类， 得到K个聚类中 心坐标， 以K个聚类中心坐标分别作为宽和高构成K个先验框 。 4.根据权利要求1所述的一种基于DR ‑RSBU‑YOLOv5的织物瑕疵检测方法， 其特征在于： 所述的步骤S4)中， 搭建的DR ‑RSBU‑YOLOv5网络包括主干网络Backbone、 第一卷积块CBL、 改 进深度残差收缩结构 DR‑RSBU‑CW、 路径聚合网络PANet和预测头 部分： a)主干网络Backbo ne： 主干网络Backbone包括依次连接 的集中层Focus、 四层卷积瓶颈层和空间金字塔快速 池化模块SPPF； 每层卷积瓶颈层中均包括依次连接的第一卷积块CBL和瓶颈结构模块 BottleneckCS P； 第二层卷积瓶颈层、 第三层卷积瓶颈层和空间金字塔快速池化模块SPPF的输出作为主 干网络Backbone的输出； 第二层卷积瓶颈层的输出输入到 路径聚合网络PANet中处理； 第三 层卷积瓶颈层的输出分别输入到改进深度残差收缩 结构DR‑RSBU‑CW和路径聚合网络PA Net 中处理； 空间金字塔快速池化模块SPPF的输出输入到第一卷积块CBL中处理， 第一卷积块 CBL处理的输出直接输入到路径聚合网络PANet 中处理， 第一卷积块CBL处理的输出经过上 采样后输入到路径聚合网络PANe中处 理； b)改进深度残差收缩结构 DR‑RSBU‑CW： 改进深度残差收缩结构DR ‑RSBU‑CW包括第一卷积层Conv、 第一批标准化层BN、 第一整 流线性单元激活函数ReLU、 第二卷积层Conv、 第二批标准化层BN、 第三卷积层Conv、 第三批 标准化层BN、 全局平均池化层、 第一全连接层FC、 第二整流线性单元激活函数ReLU、 第二全 连接层FC、 激活函数Sigmoid和第三整流线性单元激活函数ReLU， 改进深度残差收缩结构 DR‑RSBU‑CW的输入分别输入到第一卷积层Conv和第二卷积层Conv中处理， 第一卷积层Conv 的输出依次经第一批标准化层BN、 第一整流线性单元激活函数ReLU、 第三卷积层Conv和第 三批标准化层BN处理， 第二卷积层Conv的输出经第二批标准化层BN处理， 第二批标准化层 BN和第三批标准化层BN的输出相加后获得相加结果， 再将相加结果进 行赋零处理获得赋零 结果； 将第二批标准化层BN的输出 的结果经绝对值化处理后依 次经全局平均池化层、 第一 全连接层FC、 第二整流线性单元激活函数ReLU、 第二全连接层FC和激活函数Sigmoid处理， 全局平均池化层的输出和激活函数Sigmoid 的输出相乘后的结果和赋零结果共同进 行软阈 值化处理， 处理的结果和 第一整流线性单元激活函数ReLU输出的结果相加后经第三整流线 性单元激活函数ReLU处 理后输出， 作为改进深度残差收缩结构 DR‑RSBU‑CW的输出； c)路径聚合网络PANet： 路径聚合网络PANet包括依次连接的第一融合瓶颈层、 第二卷积块CBL和第二 融合瓶颈 层、 第三卷积块CBL、 第三融合瓶颈层、 第四卷积块CBL和融合卷积层， 第一融合瓶颈层、 第二 融合瓶颈层和第三融合瓶颈层中均包括依次连接的一个融合函数Concat和瓶颈结构模块 BottleneckCS P； 融合卷积层包括依次连接的一个融合 函数Concat和5个卷