(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210202582.6 (22)申请日 2022.03.02 (65)同一申请的已公布的文献号 申请公布号 CN 114596273 A (43)申请公布日 2022.06.07 (73)专利权人 江南大学 地址 214000 江苏省无锡市梁 溪区通沙路 898号南楼七层 (72)发明人 朱启兵　郭峰　黄敏　赵鑫　 (74)专利代理 机构 无锡华源专利商标事务所 (普通合伙) 32228 专利代理师 过顾佳 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/60(2017.01) G06V 10/74(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (56)对比文件 CN 113192040 A,2021.07.3 0 CN 113887668 A,202 2.01.04 CN 113920436 A,2022.01.11 CN 113962954 A,202 2.01.21 CN 113012153 A,2021.0 6.22 CN 113902926 A,202 2.01.07 CN 112150504 A,2020.12.2 9 李彬 等.改进YOLOv4 算法的航空发动机 部 件表面缺陷检测. 《激光与光电子学进 展》 .2021, 第58卷(第14期), Buyu Li et al. .Gradient Harmo nized Single-Sta ge Detector. 《The Thirty-Third AAAI Conference o n Artificial Intelligence (A AAi-19)》 .2019,第3节. 周天宇 等.基 于轻量级卷积神经网络的载 波芯片缺陷检测. 《计算机 工程与应用 ht tps:// kns.cnki.net/kcm s/detail/ 11.2127.TP.20210726.0938.016.html》 .2021, 第5-6节. 审查员 谢晶 (54)发明名称 利用YOLOV4网络的陶瓷基板多种瑕疵智能 检测方法 (57)摘要 本发明公开了一种利用YOLOV4网络的陶瓷 基板多种瑕疵智能检测方法， 涉及深度学习目标 检测领域， 该方法基于YOLOV4网络构建智能检测 模型进行陶瓷基板的多种瑕疵智能检测， 本申请 针对陶瓷基板的瑕疵的特点优化了损失函数的 计算方法， 损失函数中的置信度损失函数基于梯 度均衡机制利用所有单元网格内的预测框与对 应真实框的置信度计算得到， 从而可以使得训练 得到的智能检测模型在保证检测准确性的同时， 较高提升了瑕疵的检出率， 能够对陶瓷基板瑕疵进行高效、 快速而准确地检测。 权利要求书2页 说明书6页 附图2页 CN 114596273 B 2022.11.25 CN 114596273 B 1.一种利用YOLOV4网络的陶瓷基板多种瑕疵智能检测方法， 其特征在于， 所述方法包 括： 制备包含若干个样本图像的陶瓷基板瑕疵训练集， 样本图像是包含瑕疵目标的陶瓷基 板的图像且在瑕疵目标处标注有真实框的位置尺寸信息、 置信度和目标类别， 所述陶瓷基 板瑕疵训练集覆盖多种类别的瑕疵目标； 将样本图像输入基于YOLOV4网络构建的智能检测模型后， 主干网络提取所述样本图像 的多种尺寸的特征图， 并依 次经过颈部网络和头部网络处理后输出； 对于输出 的每一种尺 寸的特征图， 将所述特征图划分为若干个单元网格， 并在每个单元网格内利用若干个先验 框预测得到预测框， 并计 算损失函数为LOSS＝LOSSreg+LOSSGHM‑C+LOSScls， 其中定位损失函数 LOSSreg利用所有单元网格内的预测框与对应 真实框的位置尺 寸信息计算得到， 置信度损失 函数LOSSGHM‑C基于梯度均衡机制利用所有单元网格内的预测框与对 应真实框的置信度计 算 得到， 分类损失函数LOSScls利用所有单元网格内的预测 框与对应真实框的目标类别， 利用 所述陶瓷基板 瑕疵训练集基于所述损失函数训练所述智能检测模型； 将待检测陶瓷基板的待检测图像输入所述智能检测模型， 得到对所述待检测图像 中的 瑕疵目标的检测结果； 其中， 所述智能检测模型的主干网络中包括依次级联的CBM模块、 CSP1模块、 CSP2模块、 第一CSP8模块、 第二CSP8模块和CSP4模块， CSP2模块的输出端输出152*152的特征图， 第一 CSP8模块的输出端输出76*76的特征图， 第二CSP8模块的输出端输出38*38的特征图， 第三 CSP8模块的输出端输出19*19的特征图， 所述主干网络提取的152*152、 76*76、 38*38和19* 19的四种不同尺 寸的特征图依次经过所述颈部网络和头部网络处理后分别输出； 所述智能 检测模型的颈部网络获取到152*152、 76*76、 38*38和19*19的特征图后， 分别利用级联的两 个CCNet网络对每个尺 寸的特征图进行特征增强， 再利用PA Net对进行特征增强后的四个尺 寸的特征图进行增强特 征融合。 2.根据权利要求1所述的方法， 其特 征在于， 置信度损失函数LOS SGHM‑C的计算方法为： 其中， 是第n个预测框的置信 度pn及其对应的真实框的置信 度 计算得到的交 叉熵损失， N是一个特征图中包含的所有预测框的总数， GD(gt)表示当前的预测框所在的 以 梯度模值gt为中心的预定 子区间的梯度密度。 3.根据权利要求2所述的方法， 其特征在于， 以梯度模值gt为中心的预定区间内的梯度 密度GD(gt)的计算方法为： 其中， ε为预设均分 长度， gk是第k个预测框的梯度模值。 4.根据权利要求1所述的方法， 其特征在于， 位置尺寸信息包括坐标偏移量和长宽比， 则有：权　利　要　求　书 1/2 页 2 CN 114596273 B 2其中， λcoord＝2‑w×h， w×h是当前的特征图的尺寸， S2是特征图包含的单元网格的数 量， B是每个单元网格中预测框的数量， 表示第i个单元网格内的第j个预测框中包含 瑕疵 目标， 分别是第i个单元网格内的第j个预测框的横坐标偏移 量、 纵坐标偏移 量、 宽边比和高边比， 分别是第i个单元网格内的第j个预测框对应的真实框的横 坐标偏移量、 纵坐标偏移量、 宽边比和高边比； 对于预测框和真实框中的任意一个目标框， 中心点坐标为(bx,by)、 宽边长为bw、 高边长 为bh的目标框的位置尺寸信息tx、 ty、 tw、 th的计算方法为 其中， (cx， cy)为预设 的先验框的中心点 坐标， cw为先验框的宽变长， ch为先验框的高边长， σ()为预设函数； Pij(c)表示第i个单元 网格内的第j个预测框中包含的瑕疵目标属于目标类别c的概率， 表示Pij(c)对应的真实框中包 含的瑕疵目标属于目标类别c的概 率。 5.根据权利要求1 ‑4任一所述的方法， 其特 征在于， 所述方法还 包括： 对陶瓷基板瑕疵训练集使用预定聚类方法， 以聚类框和真实框的交并比和宽长比确定 的得分作为相似度标准进行聚类选取 先验框。 6.根据权利要求5所述的方法， 其特 征在于， 聚类框acl和真实框bgt的得分为： 其中， IoU(acl,bgt)是聚类框acl和真实框bgt的交并比, 是聚类框acl的宽wcl与长hcl之 间的宽长比， 是真实框bgt的宽wgt与长hgt之间的宽 长比。 7.根据权利要求1所述的方法， 其特征在于， 所述智能检测模型的颈部网络中， 在利用 级联的两个CCNet 网络对19*19的特征图进行特征增强后， 使用SPP模块进行处理， 所述SPP 模块分别使用13 ×13、 9×9、 5×5和1×1的池化核 进行最大池化处 理。 8.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 将待检测陶瓷基板的待检测图像输入所述智能检测模型后， 通过非极大值抑制方法剔 除所述智能检测模型输出的重复的预测框， 得到对所述待检测图像中的瑕疵目标的检测结 果包括预测框位置尺寸信息、 置信度和目标类别。权　利　要　求　书 2/2 页 3 CN 114596273 B 3