(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211024851.0 (22)申请日 2022.08.25 (71)申请人 佛山维尚家具制造有限公司 地址 528225 广东省佛山市南海区狮山 镇 有色金属产业园广虹路地段B地段 (72)发明人 戴炳炳　何新义　罗陆锋　王金海　 王伟　黄国维　张宏艳　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 霍健兰 (51)Int.Cl. G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06T 7/70(2017.01)G06T 7/62(2017.01) G06T 7/00(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) B07C 3/00(2006.01) B07C 3/02(2006.01) (54)发明名称 一种五金件智能分拣合包方法 (57)摘要 本发明提供了一种五金件智能分拣合包方 法， 包括如下步骤： 读取m个订单的订单信息， 订 单信息包括五金件信息； 将m个订单的五金件信 息， 转化为订单五金件表达； 将多个种类五金件 混合输送到视觉检测区域； 获取视觉检测区域图 像， 将图像进行处理， 进行区域合并； 将区域合并 后的图像输入到训练好的五金件识别模型中， 得 到图像中各种五金件的所在位置坐标； 将订单五 金件表达转换成指令； 工业机器人根据指令抓取 相应的五金件， 并将五金件送出到订单对应位置 实现分拣； 将分拣好的五金件进行打包封装。 该 方法能够节省大量人力， 降低人工成本， 提高五 金件分拣包装的自动化程度， 包装计数更精准， 能缩短交货 期和提高生产效率。 权利要求书3页 说明书6页 附图1页 CN 115359282 A 2022.11.18 CN 115359282 A 1.一种五金件智能分拣合包方法， 其特 征在于： 包括如下步骤： S1、 读取m个订单的订单信息， 订单信息包括五金件信息； 将m个订单的五金件信息， 转 化为订单五金件表达Ir(r＝1,2, …,m)； 将多个种类五金件混合输送到 视觉检测区域； S2、 获取视 觉检测区域图像， 将图像进行处 理， 采用SAD算法进行区域 合并； S3、 将区域合并后的图像输入到训练好的五金件识别模型中， 得到图像中各种五金件 的所在位置坐标； 五金件识别模型是指： 以yolov4模型为基础、 训练时采用k ‑means++算法 对锚框尺寸进行聚类和修 正的模型； S4、 将订单五金件表达Ir转换成指令M； 工业机器人根据指令M抓取相应的五金件， 并将 五金件送出到订单对应位置实现分拣； S5、 将分拣好的五金件进行打包封装。 2.根据权利 要求1所述的五金件智能分拣合包方法， 其特征在于： 所述S5， 是指： 所述S3 中， 五金件识别模型训练包括如下步骤： L1、 从五金件图片中标注出五金件锚框， 构建出锚框数据集δ； 从锚框数据集中随机选 取一个锚框作为第一个锚框聚类中心c1； L2、 在第s次迭代中， 将除当前已有锚框聚类中心 cz以外的锚框设为其余锚框； 计算其余 锚框到当前已有锚框聚类中心cz之间的IOU值： 其中， Gz表示第z个锚框聚类中心cz的面积， Gk表示第k个其余锚框的面积， N表示其余锚 框的数量； 找出当前迭代中， 各个其 余锚框的最小IOU值： D(s,k)＝mi n(IOU(s,k) ) L3、 计算其余锚框被选为下一个锚框聚类中心的概 率p(s,k)： 其中， δ 为当前迭代中其 余锚框的集 合； L4、 在所有其余锚框已有迭代的概率p(s,k)中找出最大值， 设定最大值对应的其余锚 框为新的锚框聚类中心； L5、 重复L2至L 4进行下一次迭代， 直至找出Znum个锚框聚类中心cz,z＝1,2,. ..Znum； L6、 分别计算各个其 余锚框与Znum个锚框聚类中心cz之间的IOU值： 其中， Gz表示第z个锚框聚类中心cz的面积， Gk表示第k个其余锚框的面积， N表示其余锚 框的数量； 将各个其 余锚框分别与IOU值 最大的目标锚框归为同一类， 得到Znum个锚框类别； L7、 将各个锚框类别所有锚框的宽和高分别取均值， 得到修正后的各个锚框类别的锚 框的宽和高。权　利　要　求　书 1/3 页 2 CN 115359282 A 23.根据权利 要求1所述的五金件智能分拣合包方法， 其特征在于： 所述S2中， 采用SAD算 法进行区域 合并， 是指： S21、 将图像 每个像素点标记不同的标签； S22、 随机选取一个 像素点作为初始的区域An， n＝1； S23、 计算像素点与相邻像素点之间 的欧式距离dist； 所述相邻是指横轴、 纵轴、 对角线 相邻； 其中， xq和yq分别代表在第q个空间维度中两个 像素点的像素值； S24、 当欧式距离dist≤距离设定值时， 将参与欧式距离dist计算的相邻像素点合并到 区域An； 将新合并到区域An的像素点的标签更新 为区域An中像素点的现有标签； S25、 计算区域An各个空间维度的像素均值pq； S26、 计算 新合并到区域An像素点的相邻像素点与区域An像素均值pi的绝对差值和SAD： 其中， pq代表被选 取像素点的像 素值的集合； cq代表图像 所有像素点的集合； oq代表与pq 相邻的像素点的集 合； 当绝对差值和SAD＜SAD设定值时， 将参与绝对差值和SAD计算的相邻像素点合并到区 域An； 将新合并到区域An的像素点的标签更新为区域An中像素点的现有 标签； 跳至S25， 直至 区域An中像素点与相邻像素点再 无绝对差值和SAD＜SAD设定值的情况； S27、 随机选取一个未合并到任何区域的像 素点作为下一个初 始的区域An， n＝n+1； 跳至 S23进行下一个区域 合并， 直至所有像素点均被遍历合并。 4.根据权利 要求1所述的五金件智能分拣合包方法， 其特征在于： 所述S2中， 在采用SAD 算法进行区域 合并之前， 先对图像进行均值滤波处 理， 滤波核函数k(x,y)为： 其中， k(x,y)表示均值滤波后得到的图像， f(x,y)表示原始图像， M＝(2*ksize.width+ 1)*(2*ksize.height+1)； ksize.width代表滤波器窗口的宽度， ksize.height表示滤波器 窗口的高度。 5.根据权利要求1所述的五金件智能分拣合包方法， 其特征在于： 所述S1中， 订单五金 件表达Ir(r＝1,2, …,m)， 是指： 其中， N表示第r个订单五金件总数； i表示五金件种类编号； j表示第r个订单中种类编 号为i的五金件的数量， 0 ≤j≤N； 所述S4中， 指令 M， 是指：权　利　要　求　书 2/3 页 3 CN 115359282 A 3