(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211286539.9 (22)申请日 2022.10.20 (71)申请人 颖态智能技 术 （上海） 有限公司 地址 201815 上海市嘉定区兴文路8 85号4 幢一层B区 (72)发明人 王磊　马启航　 (74)专利代理 机构 上海创开专利代理事务所 (普通合伙) 31374 专利代理师 马正红 (51)Int.Cl. G01N 21/88(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/00(2017.01) G06T 7/11(2017.01)G06T 7/246(2017.01) G06T 7/62(2017.01) G06T 7/70(2017.01) (54)发明名称 一种面向阀口袋包 装机的褶皱 检测方法 (57)摘要 本发明公开了一种面向阀口袋包装机的褶 皱检测方法， 包括： 调节背光源模块使阀口袋产 品的图像纹理在显示器显示清晰， 启动线阵的工 业相机模块进行阀口袋产品图像实时采集来判 断图像清晰度是否满足初始设定要求； 对目标框 中的图像进行图像分割并根据像素点进行面积 估计对褶皱信息进行定量评价； 在输送线上剔除 不合格的产品； 记录数据； 输入LSTM进行网络学 习并根据输出的反馈信息对包装机生产参数进 行辅助调参。 本发明有效的提供在线检测方案， 快速剔除不合格的产品； 采用对目标图像进行分 割的技术手段， 实现对褶皱信息的定量评价， 进 而提高褶皱检测的分选自动化水平， 减轻工人劳 动强度， 同时保证 了褶皱检测的准确性。 权利要求书2页 说明书7页 附图3页 CN 115452842 A 2022.12.09 CN 115452842 A 1.一种面向阀口袋包装机的褶皱检测方法， 通过褶皱检测装置实现， 所述褶皱检测装 置安装于阀口袋包装机(2)上， 包括工业相机模块(1)、 背光源模块(3)以及伸缩气缸(4)， 所 述工业相机模块(1)安装于阀口袋包装机(2)左上方， 背光源模块(3)安装于阀口袋包装机 (2)的右侧， 背光源模块(3)竖直朝 下， 伸缩气缸(4)安装于阀口袋出料口的一侧， 其特征在 于， 所述褶皱 检测方法包括如下步骤： 步骤一： 阀口袋包装机(2)工作过程 中， 调节背光源模块(3)， 使阀口袋产品的图像纹理 在显示器显示清晰； 步骤二： 启动线阵的工业相机模块(1)进行阀口袋产品图像实时采集， 判断图像清晰度 是否满足初始设定要求； 步骤三： 若图像清晰度不满足初始设定要求， 将采集图像进行图像增强， 将增强后的图 像输出； 步骤四： 若图像清晰度满足初始设定要求， 则采集的图像进行YOLO前向推理， 输出图像 褶皱位置信息； 步骤五： 采用区域分割合并法对目标框中的图像进行图像分割， 根据像素点进行面积 估计， 对褶皱信息进行定量评价； 步骤六： 建立 卡尔曼滤波方程， 跟踪检测产品， 并在输送线上剔除不 合格的产品； 步骤七： 以时间戳为基础单元， 实时记录工作产品数据， 并标记封口出现褶皱的工作数 据； 步骤八： 输入LSTM进行网络学习， 根据输出的反馈信息对包装机生产参数进行辅助调 参。 2.根据权利要求1所述的一种面向阀口袋包装机的褶皱检测方法， 其特征在于， 所述图 像清晰度具体采用平均梯度作为图像评价指标， 平均梯度能反映图像中细节反差和纹理变 换， 具体计算如下 所示: 式中， ΔxF(i,j),ΔyF(i,j)分别表示像素点(i,j)在x或者y方向上的一阶差分； 通过 计算单张已经完成包装袋的产品图片， 评价采集到的图片的清晰度好坏， 确保输入的图像 的纹理特征较为清晰。 3.根据权利要求1所述的一种面向阀口袋包装机的褶皱检测方法， 其特征在于， 所述步 骤四中的YOLO前向推理， 包括阀口袋褶皱的Y OLOX‑S检测模型的训练， 通过人为采集部分图 像， 同时采集开源数据集即阀口袋铝片表面缺陷检测数据集， 获得N张图片， 采用风格迁移 的方式循环生成褶皱数据集， 平衡正负样本数量， 然后通过几何旋转、 局部拼接、 镜像翻转 扩充已有的样 本数据集， 通过LabelImage软件进行图像标注， 标注类别分为正常产品、 表 面 褶皱以及封口褶皱三类目标， 建立褶皱数据集， 并将数据集划分为训练集和测试集， 划分比 例为7： 3。 4.根据权利要求1所述的一种面向阀口袋包装机的褶皱检测方法， 其特征在于， 所述步 骤四中图像进行YOLO前向推理具体采用改进YOLOX ‑S检测模型的YOLOX网络结构， 主要包 括： 将YOLOX ‑S检测模型中的YOLO ‑Head部分中的三个分支中输出的13 ×13的特征图移除，权　利　要　求　书 1/2 页 2 CN 115452842 A 2该特征图负责大目标 的特征图， 并引入注意力机制模块， 采用深度可分离卷积操作替换基 础模块中的普通卷积 操作。 5.根据权利要求4所述的一种面向阀口袋包装机的褶皱检测方法， 其特征在于， 所述图 像进行YOLO前向推理具体是将数据集中分批次输入Y OLOX‑S检测模型中， 输入宽高为416 × 416×3的图像,输出特征层26 ×26×8、 52×52×8， 特征层的长宽为20， 以及三种类别的目 标框的坐标信息(x， y， w， h)进行预测， 通过Reshape操作， 获得3380 ×8的预测框信息， 通过 反向传播， 分别计算损失， 主要包括三部分， 边界框损失函数、 Iou感知分类损失和类别损 失， 采用CIOU损失函数作为边界框损失函数； 替换原有的损失函数， CIOU损失函数具体公式 如下： 其中， IoU为预测框和真实框的交并比， ρ 表示两点的欧式距离， b和bgt分别表示预测框 和真实框的中心点， c代表预测框和真实框最小外接矩形 的对角线距离， α作为协调比例参 数， γ用于衡量框的长度比一致性参数， wgt、 w和hgt、 h分别表示真实框和预测框的宽度和高 度。 6.根据权利要求5所述的一种面向阀口袋包装机的褶皱检测方法， 其特征在于， 通过设 置稀疏因子γ， 将训练的模型进行权重排序， 去除权重的最大值和最小值， 通过非结构化稀 疏的方式， 减少模型在中卷积层中部分卷积核的个数， 稀疏化检测模 型， 并将其在训练数据 集上进行模型微调， 恢复模型的准确率， 最后， 将YOLOX ‑S检测模型部署到嵌入式终端设备 中。 7.根据权利要求1所述的一种面向阀口袋包装机的褶皱检测方法， 其特征在于， 所述步 骤五中， 将图像划分成一组任意不相交的初始区域， 根据给定的均匀 性检测准则进行分裂 和合并这些区域， 直到最后将图像分成数量最少的均匀区域为止， 完成对出现褶皱的产品 的图像位置确定后， 需要通过像素点估计褶皱的实际大小程度， 同时， 通过计算像素点面 积， 大致将褶皱程度划分为 严重、 中等、 轻微 三种。 8.根据权利要求1所述的一种面向阀口袋包装机的褶皱检测方法， 其特征在于， 所述步 骤六中， 对出现褶皱问题的建立 卡尔曼滤波方程进行目标跟踪， 完成对目标位置的更新。 9.根据权利要求1所述的一种面向阀口袋包装机的褶皱检测方法， 其特征在于， 所述步 骤八中， 采用LSTM神经网络进 行设备的参数调节方式， 主要通过输入包装机的工作电流、 封 口处的温度， 以及产品的生产节拍、 送料速率， 包装完成产品的实际质量等实际控制参数， 以此来辅助调整包膜机的各项工作参数。权　利　要　求　书 2/2 页 3 CN 115452842 A 3