(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210583269.1 (22)申请日 2022.05.26 (71)申请人 石河子大 学 地址 832003 新疆维吾尔自治区石河子市 石河子大 学机械电气工程学院 (72)发明人 秦新燕　曾钰婕　雷金　李博　 张杰　李兆均　王德新　宋杰　 李惠东　王艳琦　冯天明　 (51)Int.Cl. G06T 17/05(2011.01) G06T 17/20(2006.01) G06T 7/80(2017.01) G06T 7/90(2017.01) G06T 7/55(2017.01) G06T 7/207(2017.01) G06V 10/762(2022.01) (54)发明名称 一种基于飞走双模视觉信息的输电走廊快 速重建方法 (57)摘要 本发明公开了一种基于飞走双模视觉信息 的输电走廊快速重建方法， 即一种飞走双模机器 人在沿地线行走模式下， 结合运动过程中的POS 信息等多源数据建立的以档段为单位的输电走 廊三维重建方法； 飞走双模机器人的特殊运动模 式是飞行上下线、 飞越塔头和沿地线行走， 两种 模式可切换。 本发明将多源数据、 机器人运动轨 迹和结构化工况三者融合， 结合静动态两条路线 重建策略， 不仅能实现重建数据轻量化， 快速建 立飞走双模机器人线上行走过程中的场景模型， 还能减少整体重建成本。 相比于传统飞行模式下 的输电走廊重建方法， 本发明优势在于能够利用 沿线行走过程中的POS等先验信息， 使用低成本 设备， 较为快速地重建完整输电走廊。 权利要求书2页 说明书7页 附图4页 CN 114898061 A 2022.08.12 CN 114898061 A 1.一种基于飞走双模视觉信息的输电走廊快速重建方法， 其特征在于对飞走双模机器 人沿地线 行走过程中的数据获取点云进行后处理重 建出完整的三 维输电走廊， 包括以下几 个步骤： 步骤1： 通过双目相机拍摄输电走廊， 收集单档段近线输电线路图像； 步骤2： 用信号传输模块将IMU、 GPS和拍摄的图像数据传至地面端， 对得到的数据进行 时空对齐； 步骤3： 利用左右目图像依次进行相机标定、 立体校正、 立体匹配等， 经计算得到每一个 像素的深度信息和彩色信息， 将二者变换位姿到同一坐标系 下， 即可获取输电走廊点云信 息； 再结合POS数据即可 得到相机的准确运动轨 迹； 步骤4： 运用K ‑means聚类法对收集到的点云进行聚类； 步骤5： 判断点云是否为静态点云， 即分割运动物体(行走线)和静态背景(金具、 其他 线、 塔架等)， 若是， 进入步骤6； 否则进入步骤7； 步骤6： 保留静态背景的点云信息(金 具、 其他线、 塔架等)； 步骤7： 针对运动物体的点云， 采取上采样的方式尽可能得到更多的点云， 然后再利用 步骤3中相机运动轨迹的POS信息， 建立运动轨迹曲线管道模型； 将建立的曲线管道模型与 电力线的悬链线模型进行对比修 正， 恢复出 行走线点云； 步骤8： 将步骤6中静态背景的点云信 息和步骤7中行走线的点云信息进行融合， 对融合 后的结果进行网格化和贴图操作， 实现完整输电走廊的快速 重建。 2.根据权利要求1所述的一种基于飞走双模视觉信息的输电走廊快速重建方法， 其特 征在于利用双目相机获取 单档段近线输电线路点云信息， 所述 步骤1包括以下几个步骤： 步骤1.1： 对采集的数据对象有一定的要求： 一般是被划分为有序档段的110kV输电线 路， 单档段长度一般为3 00～500m， 单档段内电力线分布一 致、 线型相同， 且结构特 征突出； 步骤1.2： 利用双目相机对沿地线行走过程进行拍摄， 并记录数据。 前置相机最大限度 获取前方视域内的电力塔架、 金具、 电力线的影像； 侧置相机采集 飞越塔头时的电力塔架侧 面信息； 以此建立行 走过程数据集。 3.根据权利要求1所述的一种基于飞走双模视觉信息的输电走廊快速重建方法， 其特 征在于处理步骤2的数据集， 将左右目图像、 深度信息、 IMU和GPS的时间戳和空间位置进行 对齐， 制作数据集源格式。 4.根据权利要求1所述的一种基于飞走双模视觉信息的输电走廊快速重建方法， 其特 征在于获取点云信息和相机的准确运动轨 迹， 所述步骤3包括以下几个步骤： 步骤3.1： 利用步骤2中的左右目图像数据， 进行相机标定和立体校正； 步骤3.2： 对左右目图像进行立体匹配， 生成视差矩阵， 并计算每一个像素点的深度， 通 过相机模型计算每一个 像素点对应的三维坐标； 步骤3.3： 利用彩色图匹配， 与匹配上的特征点对应的深度信息组成两片点云， 用ICP求 初始位姿， BA优化得到更准确的位姿， 估计出位姿后做位姿变换把所有的点变换到同一个 坐标系下， 即可获取输电走廊点云信息； 步骤3.4： 利用步骤2中的图像数据， 融合IMU和GPS生成的POS信息， 恢复出相机的准确 运动轨迹。 5.根据权利要求1所述的一种基于飞走双模视觉信息的输电走廊快速重建方法， 其特权　利　要　求　书 1/2 页 2 CN 114898061 A 2征在于将步骤4中K ‑means聚类算法的种子点数量设置为7， 即将点云分类为塔架、 其他线、 绝缘子、 金具、 行走线、 杆塔 基础和接地装置 。 6.根据权利要求1所述的一种基于飞走双模视觉信息的输电走廊快速重建方法， 其特 征在于将动态点云和静态 点云进行区分， 建立互不干扰的静动两条重 建路线； 所述步骤5包 括以下几个步骤： 步骤5.1： 通过将基于密集迭代最近点(ICP)对齐的几何误差与基于当前实时帧和存储 的3D模型中点之间颜色差异的光度成本相结合， 建立7个模 型的目标函数， 并单独对它们每 个模型的目标函数进行最小化处 理， 以跟踪当前图像帧中各个物体的刚体姿态； 步骤5.2： 将3D模型中一致移动的点分组在一起进行运动分割， 即分割当前实时帧， 将 每个像素与一个运动的模型相关联； 步 骤 5 .3 ： 假 设 静 态 物 体 运 动为 动态 物 体 运 动为 阈 值 为 如果 则为静态 物体， 进入步骤6； 否则直接进入步骤7。 7.根据权利要求1所述的一种基于飞走双模视觉信息的输电走廊快速重建方法， 其特 征在于保留步骤6中静态背景点云信息， 以备步骤8中进行三维重建。 8.根据权利要求1所述的一种基于飞走双模视觉信息的输电走廊快速重建方法， 其特 征在于利用相机运动轨迹， 建立曲线 管道模型； 利用电力线的悬链线模型， 结合上采样后的 点云数据修 正拟合管道模型， 最终恢复行 走线点云。 所述 步骤7包括以下几个步骤： 步骤7.1： 对运动物体点云进行上采样操作， 通过内插点云的方法对目前采集到的行走 线点云数据对进行扩充； 步骤7.2： 使将步骤2中的高清图像序列文件与相机的POS信息进行融合， 得到相机运动 轨迹， 主要包括世界位置坐标、 倾角、 运动方向等； 步骤7.3： 通过得到的相机运动轨迹， 建立以拍摄点为管道中心线、 截面圆半径为r的管 道模型； 步骤7.4： 利用多项式函数对管道模型进行拟合， 以原始行走线点到其对应拟合点之间 距离的均方根误差(RMS E)作为确定重 建模型拟合程度的评价标准。 在行走线的原始 点与拟 合点之间的RMS E值在拟合次数大于等于5之后， 均未有明显变化， 可确保行走线点云拟合精 度。 经充分考虑对计算资源的节省以及兼顾计算效率， 本发明的拟合次数定为5比较合 适。 9.根据权利要求1所述的一种基于飞走双模视觉信息的输电走廊快速重建方法， 其特 征在于融合静态背景点云和 运动物体点云， 并将 融合后的结果进行网格化和贴图操作， 所 述步骤8包括以下几个步骤： 步骤8.1： 融合步骤6的静态背景点云(金具、 其他线、 塔架等)和步骤7的运动物体点云 (行走线)； 步骤8.2： 对融合后的所有点云进行网格化表面重建处理， 采取参数合适的网格过滤器 滤除无关信息； 步骤8.3： 对三维网格进行纹 理贴图操作。 至此， 可实现完整输电走廊的快速 重建。权　利　要　求　书 2/2 页 3 CN 114898061 A 3