(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210579340.9 (22)申请日 2022.05.25 (71)申请人 上海交通大 学 地址 200240 上海市闵行区东川路80 0号 (72)发明人 高明月　蔡艳　沐卫东　 (74)专利代理 机构 上海科盛知识产权代理有限 公司 312 25 专利代理师 蔡彭君 (51)Int.Cl. G01D 21/02(2006.01) G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 7/80(2017.01) B23K 37/00(2006.01) (54)发明名称 熔池温度场和三 维形貌同步检测方法、 装置 及存储介质 (57)摘要 本发明涉及一种熔池温度场和三维形貌同 步检测方法， 包括： 标定相机及其位姿； 获取熔池 彩色图像并提取 RGB单色图像； 对B通道单色图像 进行处理形成熔池表面三维形貌数据， 并标记遮 挡区域； 计算遮挡区域总面积并判断其是否小于 阈值， 若小于， 执行下一步， 若大于， 判断计算持 续时间是否大于阈值， 若小于， 保存数据并获取 下一幅图像， 重新执行上述步骤， 若大于， 选 择遮 挡区域总面积最小的图像数据作为当前图像， 执 行下一步； 将R、 G通道单色图像转换为工件坐标Z 方向的俯视图， 利用比色法计算熔池表面温度 场， 并将遮挡区域的数据修改为NAN； 统一熔池温 度场数据和熔池表面三维形貌数据并同步输出。 与现有技术相比， 本发明具有同步性强、 数据准 确等优点。 权利要求书2页 说明书6页 附图3页 CN 115077602 A 2022.09.20 CN 115077602 A 1.一种熔池温度场和三维形貌同步检测方法， 其特 征在于， 包括以下步骤： 步骤1)对RGB彩色相机及其与结构光的相对位姿 进行标定； 步骤2)参数初始化； 步骤3)判断焊接是否开始， 若焊接已开始， 获取RGB彩色相机拍摄的熔池彩色图像； 步骤4)分别提取 熔池彩色图像RGB三个通道的单色图像； 步骤5)对B通道单色图像进行预处理， 提取结构光轮廓， 根据三角测量法确定熔池表面 轮廓， 在工件坐标中形成熔池表面 三维形貌数据， 并标记熔池表面的遮挡区域； 步骤6)计算遮挡区域总面积并判断遮挡区域总面积是否小于预配置的面积阈值， 若遮挡区域总面积小于预配置的面积阈值， 执 行步骤7)， 若遮挡区域总面积大于预配置的面积阈值， 判断计算持续时间是否大于预配置的时间阈值， 若持续时间小于预配置的时间阈值， 保存当前数据并获取下一幅RGB彩色相 机拍摄的熔池彩色图像作为待处理图像， 重新执行 步骤4)‑步骤6)， 若持续时间大于预配置的时间阈值， 在保存数据中选择遮挡区域总面积最 小的图像数据作为当前图像， 执 行步骤7)； 步骤7)将当前图像的R通道单色图像和G通道单色图像转换为工件坐标Z方向的俯视 图， 利用比色法计算熔池表面温度场， 所述R通道单色图像和G通道单色图像为包含遮挡区 域的完整图像， 并在计算完成后将熔池表面温度场数据矩阵中被标记为遮挡区域的数据修 改为NAN； 步骤8)在工件坐标系中统一熔池温度场数据和熔池表面三维形貌数据并同步输出熔 池的三维形貌和温度分布； 步骤9)判断焊接是否完成， 若未完成， 重新获取RGB彩色相机拍摄的熔池彩色图像， 重 复步骤4) ‑步骤8)， 直至焊接 完成。 2.根据权利要求1所述的一种熔池温度场和三维形貌同步检测方法， 其特征在于， 所述 步骤1)对RGB彩色相机进行 标定包括： 测定彩色相机RGB三通道 的感光曲线， 根据感光曲线确定窄带三通道滤光片的通带中 心位置， 根据B通道波长确定 激光结构光波长 。 3.根据权利要求1所述的一种熔池温度场和三维形貌同步检测方法， 其特征在于， 所述 步骤1)对RGB彩色相机和结构光的相对位姿 进行标定包括： 调整RGB彩色相机和结构光的相对位姿使得RGB彩色相机和激光结构光的焦平面均位 于工件表 面， 所述RGB彩色相机装配了微距镜头和窄带三通道滤光片且设于焊接区域一侧， 所述激光结构光设于焊接区域另一侧以进行辅助照明。 4.根据权利要求1所述的一种熔池温度场和三维形貌同步检测方法， 其特征在于， 所述 步骤5)标记熔池表面的遮挡区域包括： 判断B通道单色图像是否完整， 若不完整， 将不完整区域标记为遮挡区域； 在重建的熔 池表面三维形貌上， 从最高点向下按 预配置的距离提取水平切面， 在该切面上搜索孔洞， 计 算孔洞最低点到彩色相机光心的连线， 若连线切割熔池表面轮廓则判定孔洞区域被熔池自 身遮挡， 将所述 孔洞区域标记为遮挡区域。 5.根据权利要求4所述的一种熔池温度场和三维形貌同步检测方法， 其特征在于， 所述 遮挡区域 为焊枪、 工件、 夹具或熔池自身造成的遮挡。权　利　要　求　书 1/2 页 2 CN 115077602 A 26.根据权利要求1所述的一种熔池温度场和三维形貌同步检测方法， 其特征在于， 所述 步骤7)当前图像的R通道单色图像和G通道单色图像工件坐标Z方向的俯视图通过空间变换 与尺寸标定转换 得到。 7.根据权利要求1所述的一种熔池温度场和三维形貌同步检测方法， 其特征在于， 所述 步骤7)比色法计算熔池表面温度场Txy计算公式为： 其中， Rxy(T)为不同波长图像的灰度比， C2为第二辐射常量， λ1和 λ2为滤光片波长， α 为光 圈补偿系数， K值由组成测温系统元件决定， 为CCD的光谱响应， Ii为滤波片 的峰值透过率， 为滤波片的带宽 。 8.根据权利要求1所述的一种熔池温度场和三维形貌同步检测方法， 其特征在于， 所述 步骤8)包括： 在熔池轮廓内以图像像素为单位， 从比色法计算结果中提取对应的温度数据， 从熔池 三维形貌数据中找到最临近的3个点， 平面拟合后确定该像素的高度数据， 完成在工件坐标 系中统一熔池温度场数据和熔池表面 三维形貌数据； 根据统一后的数据输出各点均具有温度数据和高度 数据的熔池表面轮廓， 完成熔池三 维形貌和温度分布的同步输出， 其中熔池边缘轮廓由比色法计算结果确定， 将温度数据与 材料熔点进行比较， 若某一点8领域方向内存在跨越熔点的变化梯度， 则该点为熔池边缘 点， 遍历图像确定熔池边 缘点后， 采用生长算法完成轮廓封闭处 理。 9.一种熔池温度场和三维形貌同步检测装置， 包括存储器、 处理器， 以及存储于所述存 储器中的程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑8中任一所述的 方法。 10.一种存储介质， 其上存储有程序， 其特征在于， 所述程序被执行时实现如权利要求 1‑8中任一所述的方法。权　利　要　求　书 2/2 页 3 CN 115077602 A 3