(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210840815.5 (22)申请日 2022.07.18 (71)申请人 上海理工大 学 地址 200093 上海市杨 浦区军工路516号 (72)发明人 米金鹏　胡卫兵　刘丹　唐宋　 马致远　 (74)专利代理 机构 上海邦德专利代理事务所 (普通合伙) 31312 专利代理师 周念沙 (51)Int.Cl. B25J 9/16(2006.01) B25J 19/02(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/13(2017.01)G06V 10/762(2022.01) (54)发明名称 一种基于改进型角度估计的机械臂抓取方 法 (57)摘要 本发明公开了一种基于改进型角度估计的 机械臂抓取方法， 包括： S1、 将机器人放入非结构 化场景中进行目标物体信息采集； S2、 通过one ‑ stage检测器对步骤S1中的目标物体信息采集进 行检测， 输 出目标物 体的边界框信息； S3、 将步骤 S1中的目标物体信息与步骤S2中边界框信息进 行结合， 通过K ‑means++算法将框内所有像素点 的深度值聚类为三类， 将聚类中心值作为抓取点 到相机成像镜头的距离； S4、 将上述的聚类中心 的点坐标和剔除异常点的深度信息根据相应的 运算得到真实世界中的抓取坐标； S5、 使用Canny 检测图像信息， 并求解最小外接矩阵， 获取物体 主方向角度。 根据本发明， 能够迅速在复杂场景 中获取物体抓取角度。 权利要求书2页 说明书4页 附图2页 CN 115213902 A 2022.10.21 CN 115213902 A 1.一种基于改进型角度估计的机 械臂抓取 方法， 其特 征在于， 包括以下步骤： S1、 将具有机 械臂的机器人放入非结构化场景中进行目标物体信息采集； S2、 通过one ‑stage检测器对步骤S1中的目标物体信息采集进行检测， 输出目标物体的 边界框信息； S3、 将步骤S1中的目标物体信息与步骤S2中边界框信息进行结合， 通过K ‑means++算法 将框内所有像素点的深度值聚类为三类， 将聚类中心值作为抓取点到相机成像镜头的距 离； S4、 将上述的聚类中心的点坐标和剔除异常点的深度信 息根据相应的运算得到真实世 界中的抓取坐标； S5、 将目标物体的边界框信息通过Sobel算子加强全图像的边缘信息， 再通过阈值设定 和图像闭运算获取主物体像素信息， 使用Canny检测图像信息， 并求解最小外接矩阵， 获取 物体主方向角度； S6、 将得到真实世界中的抓取坐标与物体主方向角度使用CAN通信送入移动机器人平 台， 对目标物进行准确抓取。 2.如权利要求1所述的一种基于改进型角度估计的机械臂抓取方法， 其特征在于， 步骤 S1中通过将配置有深度相机D435和六自由度轻量型机械臂的机器人移动平台实体放入实 际的非结构化场景中进行信息的采集， 深度相机分别获取目标物体的彩色图和深度图信 息。 3.如权利要求2所述的一种基于改进型角度估计的机械臂抓取方法， 其特征在于， 步骤 S2中通过one ‑stage检测器中的YOLOv4模型， 将上述的得到的彩色图信息送入YOLOv4模型 中， 输出得到目标物体的边界框(x,y,w,h)， 四个值分别对应边界框的中心点的坐标、 框宽 和框高， 将框的中心点 坐标作为物体的抓取中心点。 4.如权利要求3所述的一种基于改进型角度估计的机械臂抓取方法， 其特征在于， 步骤 S3中对物体边界框进行缩小， 初步减少异常深度值以及整体的深度数据， 首先通过YOLOv4 模型返回抓取目标的边界框尺 寸列表(y,z,x,h)， 四个值分别对应边界框的中心 点的坐标、 框宽和框高。 5.如权利要求4所述的一种基于改进型角度估计的机械臂抓取方法， 其特征在于， 步骤 S5中还包括以下步骤： S51、 将S1中边界框区域使用Sobel算子加强全图像的边缘信息， 再通过阈值设定和图 像闭运算获取主物体 像素信息； S52、 使用Canny检测图像信息， 并求解最小外接矩阵。 矩阵具有四个返回坐标[(x1,y1), (x2,y2)),(x3,y3)),(x4,y4))]， 其中矩阵最左上角的顶点 为(x1,y1)； S53、 将两个向量以x轴进行镜像转换， 并将差向量的起始点平移至原点。 外接矩阵第一 条边的角度计算公式如下： x′＝x2‑x1     (8) y′＝‑y2+y1       (9) 权　利　要　求　书 1/2 页 2 CN 115213902 A 2其它三条边的角度计算方法与第一条边一样。 外接矩阵具有两个边方向， 选取长边角 度作为物体主方向角度。权　利　要　求　书 2/2 页 3 CN 115213902 A 3