(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211038343.8 (22)申请日 2022.08.29 (71)申请人 华南农业大 学 地址 510642 广东省广州市天河区五山路 483号 (72)发明人 吴伟斌　李杰　赵新　姚焙火　 高昌伦　孙顺利　韩重阳　唐婷　 吴贤楠　沈梓颖　刘逸飞　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 杜柱东 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/82(2022.01) G06V 10/762(2022.01)G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 基于目标检测的复杂环境下茶叶嫩芽轻量 化检测方法 (57)摘要 本发明公开了一种基于目标检测的复杂环 境下茶叶嫩芽轻量化检测方法， 包括： S1、 收集 茶 叶嫩芽的图像， 构建原始数据集； S2、 使用图像标 注工具对原始数据集中的茶叶嫩芽的一芽一叶 和一芽两叶进行人工标注； S3、 对YOLOv4进行轻 量化改进， 采用GhostNet作为主干特征提取网 络， 在YOLOv4的PANet中添加通道注意力机制； S4、 对茶叶嫩芽图像数据集进行聚类分析 获取符 合茶叶数据集的anchor； S5、 对改进后的YOLOv4 设定参数， 进行训练并保存最优模型； S6、 将待检 测的图像输入最优模型中进行前向推理， 再经非 极大值抑制后处理得出待检测的图像中茶叶嫩 芽。 本发明 改进目标检测模型YOL Ov4的主干特征 提取网络部分， 添加通道注意力机制， 实现对复 杂茶园环境下茶叶嫩芽的轻量 化准确检测。 权利要求书3页 说明书7页 附图5页 CN 115439744 A 2022.12.06 CN 115439744 A 1.基于目标检测的复杂环境下茶叶嫩芽轻量 化检测方法， 其特 征在于， 包括以下步骤： S1、 收集茶园内茶叶嫩芽图像， 构建原 始数据集； S2、 使用图像标注工具， 对原始数据集中的茶叶嫩芽的一芽一叶和一芽两叶进行人工 标注； S3、 对目标检测模型YOLOv4进行轻量化改进， 采用GhostNet作为主干特征提取网络， 在 YOLOv4的PANet中添加通道 注意力机制； S4、 对茶叶嫩芽图像数据集进行聚类分析获取符合茶叶数据集的anc hor； S5、 对改进后的目标检测模型YOLOv4设定参数， 进行训练并保存最优 模型； S6、 将待检测的图像输入保存好的最优模型中进行前向推理， 再经非极大值抑制后处 理得出待检测的图像中茶叶嫩芽， 完成对茶叶嫩芽的检测。 2.根据权利要求1所述的基于目标检测的复杂环境下茶叶嫩芽轻量化检测方法， 其特 征在于， 步骤S1具体为： 将茶叶嫩芽分为一芽一叶和一芽两叶， 使用相机在距离叶嫩芽上方50CM以45 °至90°拍 摄图像， 构建原始数据集； 其中， 拍摄图像的时间为早晨、 中午、 傍晚以及晚上， 晚上采取补 光拍摄； 拍摄图像的天气包括晴天和雨天。 3.根据权利要求1所述的基于目标检测的复杂环境下茶叶嫩芽轻量化检测方法， 其特 征在于， 步骤S2具体为： 使用图像标注软件labeling对原始图像中的茶叶嫩芽进行标注， 一芽一叶标注为tea   11， 一芽两叶标注为tea  12。 4.根据权利要求1所述的基于目标检测的复杂环境下茶叶嫩芽轻量化检测方法， 其特 征在于， 步骤S3中， 对目标检测模型YOLOv4进行 轻量化改进具体为： 使用Ghostnet替换原有的DarkNet53， 改进后的模型由Ghostnet、 Neck以及He ad三部分 构成； 其中， GhostNet采用Ghost  Module模块替代普通卷积， Ghost  Module首先采用一个1*1 的卷积进行通道数 的压缩， 生成部分真实特征层， 然后再对真实特征层的每个通道进行深 度可分离卷积， 获得Ghost特征图， 最后将真实特征层与Ghost特征层拼接得到完成的输出 特征层； GhostNet由多个Ghost  Module组成， GhostNet被分为5个阶段， 第一阶段的特征图 输出为208*208， 第二阶段的特征图输出为104*104， 第三阶段的特征图输出为52*52， 第四 阶段的特 征图输出为26 *26， 第五阶段的特 征图输出为13 *13； G‑block是由Ghost  Module模块构建而成的瓶颈结构， G ‑block分为两 部分： 第一部分是步长为1的瓶颈结构， 不对输入特征层的宽高进行压缩， 用于加深网络的深 度， 主干部分利用2个Ghost  Module对输入 特征层进 行特征提取， 最后主干部 分的输出和残 差边进行相加； 第二部分是步长为2的瓶颈结构， 主干部分首先利用一个Ghost  Module模块进行特征 提取， 然后采用一个步长为2的深度可分离卷积对输入特征层进 行宽和高的压缩， 最后再次 利用Ghost  Module模块进行 特征提取， 输出 结果和残差边进行相加。 5.根据权利要求4所述的基于目标检测的复杂环境下茶叶嫩芽轻量化检测方法， 其特 征在于， Neck部分由空间金字塔池化S PP和路径聚合网络PANet构成；权　利　要　求　书 1/3 页 2 CN 115439744 A 2SPP包含3个最大池化层， 其中的池化核大小分别为5*5、 9*9、 13*13； 池化核大小为5*5 的最大池化层padding为2， 步长为1， 池化核大小为9*9的最大池化层padding为4， 步长为1； 池化核大小为13 *13的最大池化层 padding为6， 步长为1； PANet为路径聚合网络， 对自顶向下和自底向上的两个路径方向对主干特征提取网络 GhostNet生 成的三个尺度特征图进行信息融合； PANet包括对SPP输出结果进行一次卷积和 上采样操作， 其结果与GhostNet的26*26特征层经过一次卷积操作后的结果进行拼接， 对拼 接结果进行5次卷积； 对这5次卷积后的结果进行一次卷积和上采样操作， 其结果与GhostNet的52*52特征层 经过一次卷积操作后的结果进行拼接， 对拼接的结果进行5次卷积； 该5次卷积后的结果有 两个去向， 第一个去向是作为Head部分 的52*52特征图层的输入， 用于检测小目标， 第二个 去向是用于下采样； 下采样后的结果与第一次5次卷积后的结果进行拼接， 拼接过后进行5 次卷积， 该结果有两个去向， 第一个去向是作为Head部分 的26*26特征图层的输入， 用于检 测中目标， 第二个去向是进 行下采样操作， 然后与SPP的输出进 行拼接， 拼接后的结果进 行5 次卷积作为Head部分的13 *13特征图层的输入； 步骤S3中， 添加通道 注意力机制具体为： 添加的位置为PANet的五次卷积之前； 通道注意力机制首先对输入特征层进行全局平均池化， 然后进行两次全连接， 再取一 次sigmoid从而获得输入特 征层各通道的权值， 最后将此权值和输入特 征层相乘。 6.根据权利要求5所述的基于目标检测的复杂环境下茶叶嫩芽轻量化检测方法， 其特 征在于， Head部分用于将整幅图像划分为S*S个小方格， 在13*13、 26*26以及52*52的3个特 征图层上利用预测值和真实值的IOU进 行非极大抑制， 去除无效的预测框， 最 终获取识别的 目标类别和相应的置信度。 7.根据权利要求4所述的基于目标检测的复杂环境下茶叶嫩芽轻量化检测方法， 其特 征在于， 改进后的模型输入 大小为416*416*3， 模 型的损失函数CIOU， 由类别损失、 置信度损 失和位置损失构成： LCIOU＝1‑CIOU 其中， ρ2(b,bgt)分别表示预测框和真实框的中心点的欧式距离， c表示能同时包含预测 框和真实框的最小包区域的对角线距离， γ为测量纵横比一致性的量， α 是γ的惩罚 参数， wgt和hgt表示真实框的宽和高， w和h表示预测框的宽和高。 8.根据权利要求1所述的基于目标检测的复杂环境下茶叶嫩芽轻量化检测方法， 其特 征在于， 步骤S4具体采用K ‑means对anchor进行聚类分析， 获取茶叶嫩芽数据集的先验框尺 寸； 其中， 采用K ‑means对anc hor进行聚类分析的步骤为：权　利　要　求　书 2/3 页 3 CN 115439744 A 3