(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210796234.6 (22)申请日 2022.07.07 (65)同一申请的已公布的文献号 申请公布号 CN 114863263 A (43)申请公布日 2022.08.05 (73)专利权人 鲁东大学 地址 264000 山东省烟台市芝罘区红旗中 路184号 (72)发明人 岳峻　张逸飞　王庆　李振忠　 贾世祥　姚涛　 (74)专利代理 机构 烟台钧沣专利代理事务所 (普通合伙) 37340 专利代理师 丁宝君 (51)Int.Cl. G06V 20/05(2022.01) G06V 10/40(2022.01) G06V 10/762(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 114170497 A,202 2.03.11 CN 113076871 A,2021.07.0 6 CN 111310622 A,2020.0 6.19 CN 109325 504 A,2019.02.12 CN 111209952 A,2020.0 5.29 Changfan Zhang 等.Yo lov4 High -Speed Train Wheelset Tread Defect Detecti on System Based o n Multiscale F eature Fusion. 《Journal of Advanced Transportati on》 .2022, 张璐 等.基 于多尺度融合与无锚点 YOLO v3 的鱼群 计数方法. 《农业机 械学报》 .2021, (续) 审查员 李娜 (54)发明名称 基于跨尺度分层特征融合对类内遮挡的乌 鳢检测的方法 (57)摘要 本发明涉及基于跨尺度分层特征融合对类 内遮挡的乌鳢检测的方法， 属于深度学习技术领 域。 本申请的方法， 包括图像采集、 图像处理及网 络模型； 采集后的图像进行标注， 调整 图像尺寸 得到输入图像， 输入到目标检测 网络， 经过卷积 整合， 插入跨尺度分层特征融合模块， 其特征在 于， 将输入跨尺度分层特征融合模块的所有特征 分为n层， 共由s个特征映射子集组成， 每个特征 映射子集都会与其他特征映射子集进行特征上 的融合， 最后进行连接， 实现完整的信息融合， 经 卷积操作后， 输出训练结果； 然后利用损失函数 进行网络参数调整， 经过多次训练迭代后， 得到 适用于网络模 型的参数； 最后将 输出的候选框输入到非极大值抑制模块， 筛选正确预测框， 得到 预测结果。 [转续页] 权利要求书2页 说明书7页 附图3页 CN 114863263 B 2022.09.13 CN 114863263 B (56)对比文件 Huanjun Zhang 等.An Underwater Fish Individual Recogn ition Method Based o n Improved Yo loV4 and FaceNet. 《 20th Internati onal Conference o n Ubiquitous Computing and Com munications (IUCC/CIT/ DSCI/SmartCNS)》 .2021,2/2 页 2[接上页] CN 114863263 B1.一种基于跨尺度分层特征融合对类内遮挡的乌鳢检测的方法， 包括图像采集、 图像 处理及网络模型； 所述图像处理， 是指采集后的图像按9:1分为训练集与预测集， 使用labelimg对所有图 像进行标注， 得到含 所有目标的真实框的图像， 并对所有真实框进 行尺寸聚类， 得到最适合 于乌鳢检测训练的九个 真实框尺寸， 并调整图像尺寸， 形成输入图像， 输入图像适用于网络 模型； 将输入图像输入到所述网络模型中， 对目标检测， 输入图像经过1X1卷积提取目标乌鳢 特征， 并对特 征进行整合， 调整维度后， 插 入跨尺度分层特 征融合模块， 其特征在于， 首先， 进行模型训练， 将训练集的输入图像， 输入网络模型中， 训练集的输入图像在所 述跨尺度分层特征融合模块中， 将输入该模块的所有特征分为n层， 共由s个特征映射子集 组成， 每个特征映射子集 都会与其他特征映射子集进 行特征上的融合， 最后进 行连接， 形成 完整的信息融合， 经卷积操作后， 输出含有目标置信度、 坐标信息以及种类信息的训练结 果； 再利用YOLOV4损失函数进行网络参数调整， 经过50次训练迭代后， 得到适用于网络模 型的参数， 形成一个 检测用的网络模型； 然后对模型进行检测， 将预测集的输入图像作为测试图像进行检测， 测试图像输入至 调整好参数 的网络模型， 网络模型得到含有候选框目标种类、 中心点坐标及宽高信息的预 测结果， 并将预测结果输入到非极大值抑制模块， 非极大值抑制模块基于所有候选框定位 准确度得分排名， 筛 选正确预测框 。 2.根据权利要求1所述的基于跨尺度分层特征融合对类内遮挡的乌鳢检测的方法， 其 特征在于， 所述图像采集是使用相机采集大小为1920*1080的乌鳢图像； 该图像中， 因乌鳢 躯体细长而导 致的紧密相邻情况， 形成类内遮挡。 3.根据权利要求2所述的基于跨尺度分层特征融合对类内遮挡的乌鳢检测的方法， 其 特征在于， 所述目标检测， 经过1X1卷积对特征通道进行信息整合及维度调整后， 获得图像 包含的所有 特征， 提取细长乌鳢的躯体姿态， 此时的特征对应特征矩阵不同的维度， 彼此间 相互独立且没有关联， 各自相当于独立的个 体。 4.根据权利要求3所述的基于跨尺度分层特征融合对类内遮挡的乌鳢检测的方法， 其 特征在于， 所述跨尺度分层特征融合模块， 在一残差块内部构建分层残差连接， 将所有特征 分为n层， 共由s个特征映射子集组成， 即所有的特征平均的分成s个特征映射子集， 用xi表 示， 其中i={1,2,...,s}， 每一个特征映射子集xi有相同的空间大小， 但是与输入特征相比， 每个特征映射子集有w个通道， 即n=s*w。 5.根据权利要求4所述的基于跨尺度分层特征融合对类内遮挡的乌鳢检测的方法， 其 特征在于， 所述特征映射子集均对应一个3X3卷积核， 经该3X3卷积核提取特征后输出一个 输出特征， 该3X3卷积核的输入特征包括该3X3卷积核对应的特征映射子集以及该3X3卷积 核之前的3X3卷积核形成的输出 特征。 6.根据权利要求5所述的基于跨尺度分层特征融合对类内遮挡的乌鳢检测的方法， 其 特征在于， 将所有所述输出 特征进行融合， 形成融合特 征子集。 7.根据权利要求6所述的基于跨尺度分层特征融合对类内遮挡的乌鳢检测的方法， 其权　利　要　求　书 1/2 页 2 CN 114863263 B 3