(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210289916.8 (22)申请日 2022.03.23 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 陈熙源　姚志婷　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 周蔚然 (51)Int.Cl. G06V 10/762(2022.01) G06T 7/73(2017.01) G06T 7/80(2017.01) G06V 20/10(2022.01) (54)发明名称 一种融合多模态信息的水面无人艇目标检 测与定位方法 (57)摘要 本发明公开了一种融合多模态信息的水面 无人艇目标检测与定位方法。 针对 水面稀疏点云 聚类算法受超参数设定限制和离群点干扰易产 生误匹配， 进而导致定位不准及定位失效等问 题， 研究了一种基于激光雷达和单目视觉的数据 融合模型算法， 包括： 设计水面数据集训练深度 学习的目标检测神经网络模型； 采用计算机视觉 算法识别图像中目标类别及计算检测框坐标； 利 用坐标系转换关系反投影检测框实现对点云的 快速滤波； 利用检测框在相机坐标系下生成的四 棱锥采用滑动四棱柱算法聚合目标点云； 结合直 方统计图筛选目标中心点云， 完成对目标的识别 与定位。 本发 明实现了对稀 疏点云特征的有效聚 合及噪声的快速滤波， 进而提高系统对环境的适 应性和鲁棒 性。 权利要求书1页 说明书5页 附图2页 CN 114677531 A 2022.06.28 CN 114677531 A 1.一种融合多模态信息的水面无 人艇目标检测与定位方法， 其特 征在于， 该 方法包括： 步骤S1： 空间上固定激光雷达和单目相机， 采用棋盘格法标定相机内参， 采用联合标定 计算激光雷达与相机间外参， 设定 两传感器采样频率， 实现时空对齐； 步骤S2： 收集水面在不同天气下的环境数据， 完成数据标注及数据集划分； 步骤S3： 选取目标识别神经网络架构， 利用数据集完成对目标检测模型的训练； 步骤S4： 采集同时刻图像及点云数据， 利用目标检测模型识别图像 中目标， 计算目标检 测框坐标； 步骤S5： 将点云数据投影至像素平面， 采用目标检测框坐标完成对点云数据的滤波； 步骤S6： 将目标检测框及其中点反投影至相机坐标系， 生成视觉四棱锥， 采用滑动四棱 柱算法在四棱锥内部聚合目标点云； 步骤S7： 统计四棱锥内点云分布直方图， 计算峰值点云数目， 反投影至激光雷达坐标 系， 获取目标位置信息 。 2.根据权利要求1所述的一种融合多模态信息的水面无人艇目标检测与定位方法， 其 特征在于， 步骤S 5所述目标检测框坐标为由目标检测模型在图像平面上生 成的二维检测框 坐标。 3.根据权利要求1所述的一种融合多模态信息的水面无人艇目标检测与定位方法， 其 特征在于， 步骤S5所述滤波操作是为了剔除投影后散落于目标检测框之外的点云。 4.根据权利要求1所述的一种融合多模态信息的水面无人艇目标检测与定位方法， 其 特征在于， 步骤S 6所述四棱锥为由目标检测框端点反投影至相机坐标系下时生成的四条射 线围成的四棱锥， 该四棱锥 顶点为相机坐标系原点， 底为Z轴坐标固定的平面。权　利　要　求　书 1/1 页 2 CN 114677531 A 2一种融合多模 态信息的水面无人艇目标 检测与定位方 法 技术领域 [0001]本发明属于智能无人船舶领域， 涉及一种融合多模态信息的水面无人艇目标检测 与定位方法， 具体地， 涉及一种基于单目相 机图像和激光雷达点云信息融合的目标检测与 定位方法。 背景技术 [0002]随着新时期无人系统领域的不断发展以及智慧船舶在军事以及民用领域展现的 广泛应用前景， 船舶智能化、 自动化、 精准化也逐渐成为世界各国研究重点。 水面无人艇作 为一种海洋智能运载设备， 可以携带多种传感器、 专用设备在目标水域执行反潜、 反鱼雷、 情报监视， 以及环境监测、 海图绘制等任务,具备智能感知、 自主规划以及自主控制能力。 而 水面无人艇执行任务的前提是具有良好的环境感知能力， 能够精确的获取临近水域的目标 种类以及方向位置信息， 为后续的导 航定位、 路径规划以及自主控制任务 提供数据支撑 。 [0003]基于深度学习的视觉目标检测一直是计算机视觉和人工智能领域的核心问题之 一， 也受到了 国内外学者的广泛研究， 已经成为人工智能领域较为成熟且实现落地应用的 研究之一。 然而针对水面无人艇而言， 单一的视觉检测在距离信息上缺失尺度难以提供有 效的目标位置， 且视觉图像容易受到天气以及光照影响， 因此对目标和场景 的描述能力具 有一定的局限性， 难以应对复杂多变的水面环境。 而激光雷达能够准确的获取目标 的相对 距离以及角度信息， 且工作 环境不受天气环境因素干扰， 但 其点云信息缺乏颜色、 纹理以及 边缘特征难以实现对目标类别信息的判断。 因此开展融合激光雷达点云数据和视觉图像信 息的多模态水面目标检测方法研究， 利用图像中丰富的色彩纹理特征以及点云中精确的位 置和角度信息， 实现对临近水域目标的精准感知， 对促进船舶智能化发展 具有重要意义。 目 前， 针对水面低线束稀疏点云和岸线环境干扰情况下， 传统基于聚类的点云目标定位算法 受超参数限制和周围离群点干扰易产生误匹配， 进而导致定位不准及定位失效等问题， 研 究基于激光雷达和视觉特征的数据融合运行机制和融合模型算法， 提出基于目标检测级联 的点云检测定位机制， 基于视觉检测结果反投影机理和滑动四棱锥算法， 实现对稀疏目标 点云特征的有效聚合及噪声的快速滤波， 进 而提高系统对环境的适应性和鲁棒 性。 发明内容 [0004]为解决上述问题， 本发明公开了一种融合多模态信息的水面无人艇目标检测与定 位方法， 基于视觉检测结果反投影机理和滑动四棱锥算法， 实现对稀疏目标点云特征 的有 效聚合及噪声的快速滤波， 进 而提高系统对环境的适应性和鲁棒 性。 [0005]为达到上述目的， 本发明的技 术方案如下： [0006]一种融合多模态信息的水面无 人艇目标检测与定位方法， 包括以下步骤： [0007]步骤1： 在空间上固定激光雷达与相机， 对其进行时空对齐； 采用张友正棋盘格法 标定相机内参， 获得内参矩阵K； 建立投影映射矩阵P， 将空间中三维激光点云坐标(x,y,z) 映射到相机坐标系下， 再经由内参矩阵投影变换至二 维图像像素坐标(u,v)上， 坐标转换关说　明　书 1/5 页 3 CN 114677531 A 3