(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210805549.2 (22)申请日 2022.07.08 (71)申请人 广东工业大 学 地址 510006 广东省广州市番禺区小谷围 街广州大 学城外环西路10 0号 (72)发明人 陈毅然　陈新度　吴磊　张宇　 甘胜斯　 (74)专利代理 机构 广州专理知识产权代理事务 所(普通合伙) 44493 专利代理师 曲超 (51)Int.Cl. G06T 7/00(2017.01) G06T 5/20(2006.01) G06T 7/13(2017.01) G06T 7/168(2017.01)G06T 7/80(2017.01) G06V 10/762(2022.01) G06V 10/30(2022.01) (54)发明名称 焊接变形量自适应的直线焊缝打磨轨迹生 成方法及装置 (57)摘要 本发明涉及焊接变形量自适应的直线焊缝 打磨轨迹生成方法， 包 括以下： 通过kinect  V2相 机中的彩色RGB相机获取目标焊板的多帧二维图 像、 红外ir相机获取目标焊板的多帧三维点 云图 像； 根据获取的多帧所述二维图像以及三维点云 图像， 进行三维直线焊缝粗提取得到三维焊缝信 息； 对所述三维焊缝信息进行降噪处理， 并剔除 离群点以及非真实焊缝轨迹点后， 得到三维焊缝 点云pi； 根据所述三维焊缝点云pi， 生成可被机 器人实际生产执行的路径点； 控制机器人按照所 述路径点进行焊缝打磨。 本发明整个过程全自动 化完成， 能够避免因为人工处理焊缝而带来的一 系列问题， 且本方法在进行焊缝识别以及打磨路 径规划时准确度高， 能够效率稳定地完成焊缝智 能化打磨。 权利要求书2页 说明书8页 附图5页 CN 115358965 A 2022.11.18 CN 115358965 A 1.焊接变形量自适应的直线焊缝打磨轨 迹生成方法， 其特 征在于， 包括以下： 通过kinect  V2相机中的彩色RGB相机获取目标焊板的多帧二维图像、 红外ir相机获取 目标焊板的多帧三维点云图像； 根据获取的多帧所述二维图像以及三维点云图像， 进行三维直线焊缝粗提取得到三维 焊缝信息； 对所述三维焊缝信息进行降噪处理， 并剔除离群点以及非真实焊缝轨迹点后， 得到三 维焊缝点云pi； 根据所述 三维焊缝点云pi， 生成可被机器人实际生产执 行的路径点； 控制机器人按照所述路径点进行焊缝打磨。 2.根据权利要求1所述的焊接变形量自适应的直线焊缝打磨轨迹生成方法， 其特征在 于， 具体的， 所述 三维直线焊缝信息通过以下 方式进行粗 提取， 对获取的二维图像进行灰度化处理后 高斯滤波， 再通过canny边缘检测提取其中的纹 路信息， 之后利用霍夫直线变换提取纹路信息中的直线获得多条直线， 基于BDSCAN思想提 取出目标直线即为焊缝， 此时得到焊缝在二维图像中的位置； 标定好彩色RGB相机与红外ir相机的内参和外参， 具体包括， 设Pir＝[Xir Yir Zir]为ir相机坐标系下某点的空间非齐 次坐标， pir＝[uir vir 1]为ir 相机像平面上pir的投影点， Hir为提前标定好的ir深度相机内参矩阵， 则有以下关系： Zirpir＝HirPir    (1) 同理可得RGB相机对应关系： Zrgbprgb＝HrgbPrgb    (2) 设 为红外相机外参， 为彩色相机外参， 为彩色相机相机 坐标系相对于红外相机坐标系的空间位姿变换， 则有： 把(1)、 (2)代入(5)， 可以消去Prgb和Pir： 根据上述建立的彩色RGB相机与红外ir相机之间像素点的对应关系， 将焊缝在二维图 像中的位置投影到三维图像中。 3.根据权利要求1所述的焊接变形量自适应的直线焊缝打磨轨迹生成方法， 其特征在 于， 具体的， 得到三维焊缝点云pi的过程， 包括以下， 通过DBSCAN算法对三维焊缝信息进行精简处理， 得到三维焊缝点云pi， 记为焊缝点簇 line_2。 4.根据权利要求3所述的焊接变形量自适应的直线焊缝打磨轨迹生成方法， 其特征在 于， 具体的， 根据所述 三维焊缝点云pi， 生成可被机器人实际生产执 行的路径点， 包括以下， 步骤510、 计算line_2中轨迹点的单位点法向量平均值n1， 并基于line_2拟合出的直线权　利　要　求　书 1/2 页 2 CN 115358965 A 2单位方向 向量a1叉乘n1计算出三维单位向量m： m＝ n1×a1； 步骤520、 基于单位向量m， 把点云簇line_2中各点pi在m向量方向偏移 ±1.5倍， 并计算 出对应领域 点pi1＝pi+1.5*m、 pi2＝pi‑1.Sm， 得到l ine_2的邻域 点簇line_2+和l ine_2‑； 步骤530、 分别计算出pi1以及pi2位于目标焊板点云上的最近邻点pi1t、 pi2t， 之后计算 pi1t、 pi2t的点法向量ni1t、 ni2t， 则真实打磨轨迹点的打磨位置和姿态分别为： Pi＝(pi1t+ pi2t)/2； Ni＝(ni1t+ni2t)/2， 此时记Pi中所有点 为点云簇line_3； 步骤540、 基于点云簇line_3对打磨轨迹点的打磨位置和姿态排序得到排序后的点云 簇line_4； 步骤550、 利用B样条曲线对点云簇line_4中的位置Pi和姿态Ni信息进行平滑处理得到 点云簇line_5； 步骤560、 再次利用B样条曲线对点云簇line_5处理获取点间隔相等的点云簇line_6， 法向量也同步拟合； 步骤570、 根据点云簇line_6计算运动学反解、 在反解结果中将第六轴设置为定值， 得 到可被机器人实际生产执 行的路径点。 5.焊接变形量自适应的直线焊缝打磨轨 迹生成装置， 其特 征在于， 包括： 图像获取模块， 用于通过kinect  V2相机中的彩色RGB相机获取目标焊板的多帧二维图 像、 红外ir相机获取目标焊板的多帧三维点云图像； 三维焊缝信息获取模块， 用于根据获取的多帧所述二维图像以及三维点云图像， 进行 三维直线焊缝粗 提取得到三维焊缝信息； 精简模块， 用于对所述三维焊缝信息进行降噪处理， 并剔除离群点以及非真实焊缝轨 迹点后， 得到三维焊缝点云pi； 路径点生成模块， 用于根据所述三维焊缝点云pi， 生成可被机器人实 际生产执行的路 径点； 执行模块， 用于控制机器人按照所述路径点进行焊缝打磨。 6.焊缝打磨平台， 其特征在于， 应用了上述权利要求1 ‑5中任意一项所述的焊接变形量 自适应的直线焊缝打磨轨 迹生成方法， 包括， 机器人； kinect V2相机， 用于通过其中的彩色RGB相机获取目标焊板 的多帧二维图像、 红外ir 相机获取目标焊板的多帧三维点云图像； 平台， 用于固定目标焊板； 基于ROS机器人控制系统的工控机， 用于接收所述kinect  V2相机传输的多帧二维图像 以及三维点云图像， 并基于此进行打磨轨 迹规划与执 行。 7.一种计算机可读存储的介质， 所述计算机可读存储的介质存储有计算机程序， 其特 征在于， 所述计算机程序被处 理器执行时实现如权利要求1 ‑4中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115358965 A 3