(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211429925.9 (22)申请日 2022.11.16 (71)申请人 齐鲁工业大学 地址 250353 山东省济南市长清区大 学路 3501号 (72)发明人 周鸣乐　张泽恺　李刚　李敏　 (74)专利代理 机构 济南格源知识产权代理有限 公司 373 06 专利代理师 刘晓政 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于一阶段目标检测算法的钢材表面 缺陷检测方法 (57)摘要 本发明涉及数字图像处理目标识别技术领 域,尤其是一种基于一阶段目标检测算法的钢材 表面缺陷检测方法， 包括如下步骤:S1、 对钢铁表 面缺陷图片进行数据预处理， 预处理后的图片划 分为训练集、 验证集、 测试集； S2、 进行目标检测 模型主干特征提取网络的搭建； S3、 进行目标检 测模型特征融合网络的搭建； S4、 进行目标检测 模型检测头的搭建； S5、 将主干特征提取网络、 特 征融合网络、 检测头进行连接， 采用训练集训练 连接后的目标检测模型， 并采用验证集进行验 证， 测试集进行测试； S6、 训练结束后选 择超过设 定阈值模型进行封装部署， 对钢材表 面缺陷图片 进行检测。 实现对钢材表面缺陷的检测， 及时发 现工业缺陷产品有助于保障产品质量 安全。 权利要求书3页 说明书6页 附图5页 CN 115496752 A 2022.12.20 CN 115496752 A 1.一种基于一阶段目标检测算法的钢材表面缺陷检测方法， 其特征在于包括如下步 骤: S1、 对钢铁表面缺陷图片进行数据预处理， 预处理后的图片划分为训练集、 验证集、 测 试集； S2、 进行目标检测模型主干特 征提取网络的搭建； S3、 进行目标检测模型 特征融合网络的搭建； S4、 进行目标检测模型检测头的搭建； S5、 将主干特征提取网络、 特征融合网络、 检测头进行连接组成目标检测模型， 采用训 练集训练连接后的目标检测模型， 并采用验证集进行验证， 测试集进行测试； S6、 训练结束后选择超过设定阈值模型进行封装部署， 对钢材表面 缺陷图片进行检测。 2.根据权利要求1所述基于一阶段目标检测算法的钢材表面缺陷检测方法， 其特征在 于， 步骤S1中， 将钢铁表面缺陷图片数据与XML格式标签数据一一对应， 并将XML格式标签 数据转换为T XT格式标签数据， 其中TXT 标签数据中包含钢铁表 面缺陷的目标位置以及缺陷 种类， 处理好数据集格式后将图片数据调整为640   ×640并进行伽马变换， 公式如下： 其中 代表增强后的图片数据， 代表增强前的原 始图片数据， 为固定值， ， 在标签处 理完成以及图片处 理完成后， 按照6:2:2的比例分别划分训练集、 验证集、 测试集。 3.根据权利要求2所述基于一阶段目标检测算法的钢材表面缺陷检测方法， 其特征在 于， 步骤S2中， 目标检测模型的主干特征提取网络包括单卷积模块、 卷积特征提取模块和 自注意力特征提取模块级联， 其中， 单卷积模块为一个卷积核大小为3的卷积， 卷积特征提 取模块包含单卷积模块、 4个瓶颈特征提取模块、 卷积注意力模块， 自注意力特征提取模块 包含分割模块、 多层感知机、 批标准 化模块和2个自注意力模块。 4.根据权利要求3所述基于一阶段目标检测算法的钢材表面缺陷检测方法， 其特征在 于， 瓶颈特征提取模块包含两个卷积核大小为1的卷积模块和一个卷积核大小为3的卷积 模块； 卷积注 意力模块包含三个卷积核 大小为1的卷积模块、 残差边、 softmax函数以及批正 则化、 Relu激活函数， 在卷积注意力模块中通过一个卷积核大小为1的卷积模块和softmax 函数进行权 重生成后与原 始特征图对应相乘， 公式如下： 其中， M表示生成的注意力特征矩阵， 表示输入的原始特征， MLP由两层卷积构成， 表示按位相乘， 表示沿通道方相叠加， 为输出的特 征图。 5.根据权利要求3所述基于一阶段目标检测算法的钢材表面缺陷检测方法， 其特征在权　利　要　求　书 1/3 页 2 CN 115496752 A 2于， 分割模块按照16 ×16的大小将图片分为多个图像块， 自注意力特征提取模块中自注意 力模块的个数为4， 在自注意力特征提取模块中， 首先进行一个随机矩阵的生成， 将生成的 一个随机矩阵M1分别与分割模块分割出的图像块mask1进行相乘， 依次生成查询向量q； 其 次对分割后的图片块分别进行2 ×2的全局平均池化， 并随机生成两个矩阵M2、 M3分别与全 局平均池化后的图像块进 行相乘， 分别生 成查询键向量k和特征表达向量v； 最后， 以四个相 邻的图像块为基准， 在四个相邻的图像块中抽选出与原k、 v向量相同数量的q向量进行相 乘， 自注意力模块的公式如下 所示： 其中， random代表随机抽取q向量的过程， 代表q向量， 代表k向量， 代表v向量。 6.根据权利要求3所述基于一阶段目标检测算法的钢材表面缺陷检测方法， 其特征在 于， 步骤S3中， 特征融合网络为三层， 第一层包括5个特征融合节点， 每个特征融合节点分 别融合特征提取网络的相 邻两层输出特征， 其中在融合特征提取网络的相 邻两层输出特征 融合过程中， 高分辨率的低层特征进 行一个3×3的卷积下采样两倍后与低分辨率的特征进 行融合， 第二层由4个特征融合节 点组成， 每个特征融合节点的下采样倍数为2， 其中高层的 特征融合节点在融合时会将第一层的相邻两层的输出特征与低层的下采样特征进 行融合， 第三层由3个特征融合节点组成， 每个特征融合节点分别融合第二层的相邻两层的输出特 征， 最低层的特 征会与特 征融合网络的最低层特 征的平均池化后的特 征融合。 7.根据权利要求3所述基于一阶段目标检测算法的钢材表面缺陷检测方法， 其特征在 于， 步骤S4中， 检测头包括通道注意力模块、 特征融合节点、 检测器级联， 检测器包括一个 卷积核大小为11的卷积模块和sigmoid函数， 在特征融合节 点中， 首先将特征融合网络中第 三层所有的特征融合节点输出的特征图调整为同一纬度后进 行融合， 其次进 行通道注意力 模块， 在通道注意力模块中， 融合后的特征图首先经过一个全局平均池化将融合后的特征 图调整至C ×1×1的维度， 随后沿通道的维度进行softmax函数生 成注意力矩阵并与原图进 行相乘， 随后相乘后的特征图与 原特征图相加经过一个卷积核 大小为1的卷积模块后输出， 总体注意力公式如下： 其中， 为通道注意力的特 征图， 代表平均池化， 代表融合后的特 征图。 8.根据权利要求7所述基于一阶段目标检测算法的钢材表面缺陷检测方法， 其特征在 于， 步骤S5中， 将搭建好的主干特征提取网络、 特征融合网络、 检测头进行依次连接， 将预 处理的数据集的训练集输入到连接好的目标检测模型300回合， 在训练的每个回合结束后 使用验证集对训练的模 型进行验证得到模 型的精度， 其中， 在训练过程中使用QFocal  Loss权　利　要　求　书 2/3 页 3 CN 115496752 A 3