(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210669075.3 (22)申请日 2022.06.14 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 李曙光　刘备　赵洋　郑珂　 金一苇　程洪　 (74)专利代理 机构 电子科技大 学专利中心 51203 专利代理师 陈一鑫 (51)Int.Cl. G06V 20/58(2022.01) G06V 20/64(2022.01) G06V 10/762(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于视觉图像与稀疏点云后融合的目 标定位方法 (57)摘要 本发明公开了一种基于视觉图像与稀疏点 云后融合的目标定位方法， 属于图像识别领域。 本发明采用图像和稀疏点云数据融合的方式识 别目标， 将图像2D检测结果与稀疏点云聚类3D结 果通过视觉投影进行目标级融合， 使本发明融合 了3D精度高的优点， 2D检测速度快的特点， 以2D 检测结果监督3D检测输出， 具有识别速度快， 精 度高的优点。 本发明点云检测采用点云实例分割 与无监督聚类方法获得物 体3D位置信息； 通过视 觉投影后融合2D检测信息与3D位置信息完成目 标定位任务。 该方法在实际交通场景中对于不同 类别目标检测精度均在90％以上， 定位误差在 0.1m， 很好 地满足了自动驾驶目标定位的需求。 权利要求书2页 说明书6页 附图3页 CN 115187955 A 2022.10.14 CN 115187955 A 1.一种基于 视觉图像与稀疏点云后融合的目标定位方法， 该 方法包括： 步骤1： 采用摄 像头获取实时2D图像数据； 步骤2： 采用激光雷达获取实时三维扫描点云数据； 步骤3： 将步骤1得到的2D图像数据和步骤2得到的三维点云数据根据时间戳进行了时 间同步， 采用联合标定的方法进行空间同步； 步骤4： 对步骤1得到的2D图像数据进行目标检测得到2D图像检测结果， 根据检测框的 像素尺寸 排出远处小物体； 并根据检测结果采用SORT跟踪方法进行多目标跟踪； 步骤5： 将步骤2得到的三维扫描点云数据以扫描点为中心将获得点云数据按照空间位 置等分为多个扇区， 在各扇区内对点云数据分成扇环； 扇环分割方法为： 设置距离参数 和 当每个点满足式(1)时， 认为该点在第j个 扇环， 其中， (xi+yi)为第i个数据点的在X ‑Y平面的投影坐标； 步骤6： 将笛卡尔坐标系转 化为类似于极坐标系的形式， 在d ‑z平面进行直线拟合； 其中， θ表示数据点所在激光线与Z轴的夹角； 设置数据点所在激光线的斜率阈值， 数据点所在激光线与Z轴的夹角阈值， 数据点所在 激光线直线拟合误差阈值， 根据这些阈值， 判断数据点是否为地面点云数据， 并剔除地面点 云数据； 步骤7： 分割剩余的点云数据， 再对分割后的点云数据进行聚类， 得到目标的3D信息包 括位置、 尺寸 等； 步骤8： 将步骤4识别的2D检测结果和步骤7聚类出的3D目标进行关联， 将步骤7得到的 各目标通过步骤3得到的视觉投影矩阵映射到图像中， 如果投影点落在2D检测框， 则将2D检 测结果与3D聚类结果进行关联， 否则， 关联失败。 2.如权利要求1所述的一种基于视觉图像与稀疏点云后融合的目标定位方法， 其特征 在于， 在步骤4中改进多目标跟踪 方法SORT， 在匹配时除了考虑IOU之外加入目标特征， 通过 计算目标 特征相似度与IOU的方法判定是否为同一目标。 3.如权利要求2所述的一种基于视觉图像与稀疏点云后融合的目标定位方法， 其特征 在于， 所述 步骤7的具体方法为： 步骤7.1： 建立KD ‑Tree， 循环依次选取三维点云的各维度作为切分维度， 取三维点云在 该维度的中值作为切分超平面， 将中值左侧的三维点云挂载在左子树， 中值右侧的三维点 云挂载在右子树； 依次递归处 理其子树， 直至所有的点云被组织； 步骤7.2： 从根节点开始自上而下访问数据， 计算该数据与叶子结点之间的距离， 其中 最小距离Dis对应的数据点记为Nearest， 进行回溯操作找到距离数据更近的最邻近点， 判 断在未被访问的分支中是否存在距离数据更近的点， 更新最近邻点Nearest和最小距离 Dis， 在搜索过程中规定最小和最大搜索阈值， 搜索结果小于最小阈值时放弃该类点云的分权　利　要　求　书 1/2 页 2 CN 115187955 A 2割， 搜索结果过多时采用最大搜索阈值进行约束， 完成离 散点云实例分割； 步骤7.3： 采用DBSCAN方法对分割的点云数据进行聚类。 4.如权利要求3所述的一种基于视觉图像与稀疏点云后融合的目标定位方法， 其特征 在于， 所述步骤8中将聚类得到的目标点云通过视觉投影到图像， 如果其中60％的激光点落 到2D图像 检测框内， 则关联成功， 否则关联失败。权　利　要　求　书 2/2 页 3 CN 115187955 A 3