(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211149254.0 (22)申请日 2022.09.21 (71)申请人 南京信息 工程大学 地址 210000 江苏省南京市宁六路219号 (72)发明人 陈江丽　 (74)专利代理 机构 北京众合诚成知识产权代理 有限公司 1 1246 专利代理师 陈国强 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/25(2022.01) G06V 10/52(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于注意力反馈和双空间金字塔的绝缘子 缺陷检测方法 (57)摘要 本发明公开了一种基于注意力反馈和双空 间金字塔的绝缘子缺陷检测方法， 通过对YOL Ov5 的网络结构进行改进， 采用UPID公共数据集对其 进行数据增强， 用于输电线路绝缘子缺陷检测， 首次在YOLOv5中将注意力反馈嵌入到骨干的 BottleneckCSP中， 首次利用一组比例因子和两 种池化方式构建了双空间金字塔来替代SPP模 块， 并在上采样后融合多个全局上下文信息， 本 发明不仅能准确地检测出复杂背景图像中的绝 缘子缺陷， 而且能准确地识别出受遮挡的绝缘 子， 实现输电线路绝缘子的定位与分类， 快速而 精确的检测绝 缘子缺陷。 权利要求书2页 说明书7页 附图5页 CN 115239710 A 2022.10.25 CN 115239710 A 1.基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法， 其特征在于： 包括以下步 骤： S1、 首次引入注意力反馈， 将注意力反馈嵌入到骨干网络的所有的BottleneckCSP结构 中， 具体嵌入在其 N个Bottleneck模块中； S2、 在S1骨干网络中， 首次引入双空间金字塔替换SPP结构， 融合不同的全局上下文信 息， 然后FPN网络获得具有低级语义信息和 丰富细节信息的高分辨率特征图， 最后利用PAN 网络进行 特征融合， 输出三种尺度的特 征图； S3、 对改进的YOLOv5 网络模型进行训练， 获取到训练最优的结果， 保存训练最优的权重 文件和最后一轮训练的权 重文件； S4、 采用划分好的测试集图像对YOLOv5网络模型进行测试， 输出绝缘子检测的评价指 标数据， 以及绝缘子目标与缺陷的位置信息， 做检测结果可视化， 实现输电线路绝缘子的缺 陷检测。 2.根据权利要求1所述的基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法， 其 特征在于： 所述注意力反馈的实现包括： 首先， 在BottleneckCSP中， 输入 特征图进行一次卷 积操作作为Bottleneck的输入； 在Bottleneck结构中， 首先会进行一次卷积， 得到的特征图 作为注意力反馈在SENet阶段的输入特征图； 接着注意力 反馈的输出特征图再进行一次卷 积操作， 与Bottleneck的输入进行特征融合， 这表示完成一次完整的含注意力反馈的 Bottleneck结构的特 征提取； SENet的Sque eze操作原理为：     （1） 式 （1） 中， 表示一次全局平FGAP均池化， C个通道的特征数值分布进行平均池化， 将注 意力反馈在S ENet阶段的输入 特征图作为输入， 通过平均池化， 转换成C ×1×1的输出张量， 每个通道的空间特征编码为一个全局特征， 使得特征图X能通过激励操作提取通道间的关 系； SENet的Excitati on操作原理为：     （2） 式 （2） 中， 采用带有sigmoid形式的gating机制， gating机制 起到控制神 经网络中信息 的传递的作用， Ffc 采用sigmoid门控机构， 该门控机制的作用是充分利用SENet的优势控制 信息的传输， H表示图像的长度， W表示图像的宽度； 其中， ， ， r是全连接层默认值为16的降维超参数， 表示ReLU 激活； 最后通过 将学习到的各个通道的激活值乘以 上的原始特征, 恢复原始的维度：                    （3） 经过1x 1卷积和sigmoid激活后， 选择添加反馈路径来更新SENet输出信息； 构造块中 的反馈路径定义 为：                    （4） 式 （4） 中， X是SENet的输入， Y是SENet的输出， 表示第i层的权重， 函数 则表权　利　要　求　书 1/2 页 2 CN 115239710 A 2示一个线性投影， 它是采用 卷积来改变Y的维度， 函数 是一个sigmo id激活函数。 3.根据权利要求1所述的基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法， 其 特征在于： 所述注意力反馈包括分支一、 分支二和分支三。 4.根据权利要求3所述的基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法， 其 特征在于： 所述分支一是SENet阶段的输入特 征图， 未做任何操作。 5.根据权利要求3所述的基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法， 其 特征在于： 所述分支二是SENet阶段的输入特征图经过Squeeze操作和Excitation操作， Squeeze操作采用全局平均池化， 获得大小为C ×1×1的张量， 之后进行Excitation操作， 即 先采用1×1卷积， 再使用sigmoid激活函数进行激活获得带有权重的C ×1×1的张量； 该张 量与SENet阶段的输入特征图进行权重融合后获得SENet阶段的输出特征图， 这表示SENet 阶段的整个特 征提取操作的结束。 6.根据权利要求3所述的基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法， 其 特征在于： 所述分支三是注 意力反馈基于SENet的创新部分； SENet阶段的输出特征图进行1 ×1卷积和sigmoid激活得到大小为1 ×H×W的特征图， 与SENet阶段的输入特征图进行权重 融合， 得到空间信息增强后的特征图， 其携带新的空间关系去更新SENet阶段的输入特征 图。 7.根据权利要求1所述的基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法， 其 特征在于： 所述双空间金字塔的实现包括： 双空间金字塔通过两种 方式聚合基于不同区域 的上下文信息： 其一是采用全局平均池化和全局最大池化； 其二是采用金字塔池化； 在 采用 全局平均池化的路径中， 金字塔的三个层级将输入特征图划分成若干个不同的子区域， 并 对每个子区域进 行全局平均池化以及融合后得到三种不同尺度下的特征； 采用全局最大池 化的路径同理； 然后采用1 ×1卷积将上下文表 示减少到原始的1   ⁄ N ； 为了将六个不同层 级的特征图进行Concat， 先采用双线性插值的方法进行上采样至特征图大小为 再进行后续的融合。权　利　要　求　书 2/2 页 3 CN 115239710 A 3