(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210787270.6 (22)申请日 2022.07.04 (71)申请人 中国民用航空飞行 学院 地址 618307 四川省德阳市广汉市南昌路 四段46号 (72)发明人 邓春艳　魏永超　邓毅　李锦　 (74)专利代理 机构 成都方圆聿联专利代理事务 所(普通合伙) 51241 专利代理师 邓永红 (51)Int.Cl. G06T 7/11(2017.01) G06T 7/30(2017.01) G06T 7/70(2017.01) G06V 10/75(2022.01) G06V 10/762(2022.01)G06V 10/764(2022.01) B25J 9/16(2006.01) (54)发明名称 机器人智能引导加工方法与系统 (57)摘要 本发明提供一种机器人智能引导加工方法 与系统， 计算机处理数据信息； 3D相机和深度相 机获取场景及目标物体的点云信息， 机械臂搭载 并控制3D相机和深度相机的位置。 大视场引导中 的深度相机获取场景点云； 大视场引导中的C ‑S 分割； 大视场引导中目标物体的识别 与点云配准 获取初始引导位姿； 小视场定位； 路径规划中的 目标模型预处理及矫正点云位姿； 路径规划中的 点云切片； 路径规划中的路径点及姿态生成。 本 发明提出一种 “大视场快速引导+小视场精确定 位+加工路径规划 ”的机器人智能引导加工技术， 实现复杂场景物 体智能识别引导、 高精度扫描定 位与加工路径自适应自动生成， 无需人工干预， 提高加工效率和精度。 权利要求书4页 说明书8页 附图3页 CN 115147437 A 2022.10.04 CN 115147437 A 1.机器人智能引导加工系统， 其特 征在于， 包括， 机 械臂、 3D相机、 深度相机及计算机； 3D相机、 深度相机分别通过数据线与计算机进行连接， 机械臂通过Wifi无线网络与计 算机进行通信， 3D相机、 深度相机分别固定 于机械臂的法兰位置； 计算机处理数据信息； 3D相机和深度相机获取场景及目标物体的点云信息， 机械臂搭 载并控制3D相机和深度相机的位置 。 2.机器人智能引导加工方法， 其特征在于， 采用权利要求1所述的机器人智能引导加工 系统， 包括以下步骤； 步骤1： 大视场引导中的深度相机获取场景点云 由深度相机获取点云后分割得到目标模型点云和扫描相机扫描得到目标点云建立目 标物体的模型 数据库； 步骤2： 大视场引导中的C ‑S分割 采用平面分割 、 聚类分割和区域 生长分割算法相结合， 采用C ‑S分割算法； 步骤3： 大视场引导中点云配准 算法获取初始引导 位姿 使用目标物体的模板点云与场景中的分割簇进行配准； 点云配准分为粗配准和精配准 两个阶段； 粗配准指在点云相对位姿完全未知的情况下对点云进行配准， 为精配准提供良 好的初始 值， 本发明使用SAC ‑IA采样一致性初始配准算法； 精配准是在粗配准的基础上， 让 点云之间的空间位置 差异最小化， 得到一个更加精准的旋转平 移变换矩阵； 步骤4： 小视场定位 由大视场引导的步骤中获取目标物体位姿信 息或者标志物的位姿信 息， 在进行机械臂 引导； 在硬件搭建中， 采用Eye ‑in‑hand的方式， 使用深度相机和3D扫描相机得到目标物体所 在场景的三维信息， 通过点云位姿估计算法， 得到当前位置下目标物体的相对相 机的位姿 信息， 并利用矩阵转换 得到相对机 械臂基底坐标系的位姿； 步骤5： 路径规划中的目标模型 预处理及矫正点云位姿 对目标模型点云进行处 理， 去除其中的体外孤点、 非连接项及噪点并减少数据量； 在点云切片之前， 需首先矫正点云姿态； 通过计算点云三维坐标的协方差矩阵C,求解 矩阵C的特征值 λ1， λ2， λ3及其对应的特征向量x1， x2， x3； 其中x1， x2， x3分别为点云的三个主方 向， 而最小特征值对应的特征向量即为点云的法向量； 利用特征向量旋转点云使其主方向 与空间坐标系的三个轴对齐； 切片时使截平面的方向 向量平行于点云旋转后的法向量； 步骤6： 路径规划中的点云切片 预处理后的点云数据V进行切片操作； 步骤7： 路径规划中的路径拟合 在获取截平面与点云的交点后， 对交点在其截平面上进行二维 曲线拟合； 采用 “三次样 条‑多项式”拟合法； 步骤8： 路径规划中的路径点及姿态生成 生成路径点后， 对路径点进行K邻域搜索点云中的邻近点和距离， 再次采用PCA主成分 分析降维处理的方法， 求解协方差矩阵对应的特征值和特征向量， 最小特征值对应的特征 向量即近似为路径点的法矢量， 求取法矢量后进行矢量指向统一， 设路径点指向点云质心权　利　要　求　书 1/4 页 2 CN 115147437 A 2的向量为 路径点法矢量 为 若 则路径点法矢量取反向。 3.根据权利要求2所述的机器人智能引导加工方法， 其特征在于， 步骤2中所述的C ‑S分 割算法， 包括以下子步骤： 1)原始点云数据为输入点云集P， 先选用三维kd ‑tree建立离散点之间的拓扑关系， 用 于后续邻域关系的快速查找， 并新建一空的聚类{Qi}和点队列M； 2)对于每个点pn(pn∈P)， 用k近邻搜索找到其最近的n个点， 计算欧氏距离， 将这n个点 中到pi的距离小于阈值r的点 放入 中； 3)对所有pn∈P的点云， 均执行2)， 当Min中不再有新的点加入时， 一个聚类完成， 判断是 否小于设定聚类簇数量的阈值下限ε1和阈值上限ε1， 若大于ε1且小于ε2则将其加入Qi中， 并 在剩余点云中选取新的种子点， 继续2)、 3)， 直到遍历完所有点； 4)当Qi＝0时， 设置一个空的种子点序列N和一个空的聚类数组pn， 选择种子点， 加入到N 中； 5)搜索当前种子点的邻域点pn， 计算邻域点的法线与当前种子点的法线 之间的夹角 αi， 小于平滑阈值的邻域 点加入到当前区域； 即αi≤α， α 为夹角阈值； 6)检查每一个邻域点pn的曲率， 小于曲率阈值的邻域点加入到N中， 并删除当前种子点， 以新的种子点继续 生长， αsmooth为曲率阈值； 即αsmooth,i≤αsmooth； 7)重复进行4)、 5)、 6)， 直到种子点序列被清空； 此时， 一个区域生长完成， 并将其加入 到聚类数组pn中； 8)对剩余 点重复算法1) ‑8)的步骤， 直到遍历完所有点， 复制{Qi}到R； 9)再进行一次场景平面分割和聚类分割， 若剩余的点云数量Num2≥Num(根据自己的实 验选取数量)， 则用于后续配准， 否则{Qi}＝R， 再代入配准。 4.根据权利要求2所述的机器人智能引导加工方法， 其特征在于， 步骤3中使用ICP迭代 最近点算法。 5.根据权利要求2所述的机器人智能引导加工方法， 其特征在于， 步骤6中切片操作， 包 括以下子步骤： (1)假设点云姿态矫正后的法向量与x轴平行， 则根据切片规则可得截平面应平行于x 轴， 因此令截平面平行于xOy平面； (2)在y轴上设置n条等间距的平行截平面， 对于任一条截平面Si， 1≤i≤n， 在其左右两 侧设置宽度为 的平行平面Sil、 Sir， 利用八叉树结构快速索引查找位于平面Sil、 Sir之间的数据点的集合 并称集 合P所包含的点为切片内点； 其中 为切片宽度阈值系数， davg为点云的预处理后距离密度 即点平均距离； (3)以平面Si为界将集 合P划分为Si左右两侧的子集Pl和Pr和刚好落在Si上的子集Ps； (4)采用求交法， 对Pl和Pr中的任意一点M(xi,yi,zi)， 以M为中心 建立边长为ds的正方体 包围盒， 在包围盒范围内遍历与点M所处点集相异的另一个点集的所有点， 寻找其中与点M 的最近邻点M ′， 再求取线段M M′与平面Si的交点；权　利　要　求　书 2/4 页 3 CN 115147437 A 3