(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210709918.8 (22)申请日 2022.06.22 (65)同一申请的已公布的文献号 申请公布号 CN 114792372 A (43)申请公布日 2022.07.26 (73)专利权人 广东工业大 学 地址 510062 广东省广州市越秀区东 风东 路729号 (72)发明人 潘丹　罗琳　曾安　廖清青　 杨宝瑶　张逸群　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 刘俊 (51)Int.Cl. G06V 10/26(2022.01)G06V 10/30(2022.01) G06V 10/80(2022.01) G06V 10/776(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06T 17/00(2006.01) G06N 3/04(2006.01) (56)对比文件 CN 114022858 A,202 2.02.08 US 20213831 15 A1,2021.12.09 CN 111489358 A,2020.08.04 CN 112465889 A,2021.0 3.09 曾安.基于多尺度几何感知Transformer的 植物点云补全网络. 《农业工程学报》 .202 2,第38 卷(第4期),第198-20 5页. 审查员 刘志军 (54)发明名称 一种基于多头两级注意力的三维点云语义 分割方法及系统 (57)摘要 本发明提出了一种基于多头两级注意力的 三维点云语义分割方法及系统， 包括： 获取植株 2D序列图像并进行三维重建， 获得植株的3D点 云； 对植株的3D点云数据进行预处理和手工标 注； 此外， 考虑到植物结构形态的复杂性， 基于注 意力机制构建了一个多头两级注意力语义分割 网络， 用于分层地获取点云的几何特征并直接从 完整标注的点云数据中预测每点的语义标签， 最 终得到植株器官的分割结果。 本发 明提出的一种 基于多头两级注意力的三维点云语义分割方法 及系统， 通过构建语义分割网络， 从而在农业领 域提出了一种基于数据驱动的端到端， 直接处理 无序3D点 云的深度学习模型， 能 自动高效地对植 物三维点云进行器官级分割。 权利要求书3页 说明书12页 附图5页 CN 114792372 B 2022.11.04 CN 114792372 B 1.一种基于多头 两级注意力的三维点云语义分割方法， 其特 征在于， 包括以下步骤： S1： 构建图像采集平台， 通过相机获取高精度和多角度的植株2D序列图像； S2： 根据采集到的植株2D序列图像进行三维重建， 获得植株的3D点云； S3： 对植株的3D点云进行 预处理和人工标注， 得到标注的点云； S4： 构建多头两级注意力的三维点云语义分割网络， 将标注的点云作为输入， 由三维点 云语义分割网络进行语义标签预测， 完成三维点云语义的分割； 在所述步骤S4中， 所述三维点云语义分割网络采用编码器 ‑解码器结构， 具体执行以下 步骤： S41： 将人工标注后的点云输入到语义分割网络中， 由一个完全连接层对点云进行升维 操作； S42： 将升维后的点云通过四个编码器进行编码， 逐步减少点云的个数并增加每个点云 的维度； 每个编码器由一个下采样模块和多头两级注意力模块组成， 点云以四倍采样率下 采样， 每一层仅保留了25%的点特征， 即产生的点云的基数变化为 N→N/4→N/16→N/64→N/ 256，N代表点的数量； 同时， 多头两级注意力模块用于分层地获取植物点云的几何特征， 每 一层的特 征维度逐渐升高以保留更多的信息， 即特 征变换为32 →64→128→256→512； S43： 经过编码器后使用四个解码器， 把点云的点数恢复为 N； 对于解码器中的每一层都 包含一个上采样模块和多层感知机； 上采样模块先使用KNN算法查询每个点云最近的K个近 邻点， 然后通过最近邻插值算法对点云进行上采样； 然后通过跳跃连接将上采样的特征与 相应编码器生成的中间特征进 行拼接得到融合的特征图； 最后 将融合的特征图输入到一个 多层感知机得到 输出； S44： 通过三个共享的完全连接层， 即维度 变化为(N,128) →(N,32)→(N, C)， 并在第一 个完全连接层之后应用了一个随机丢失率设为 的dropout层， 为小于1的自然数； 语义分 割网络的输出为 N×C的语义标签预测结果， 其中 C代表类别数。 2.根据权利要求1所述的一种基于多头两级注意力的三维点云语义分割方法， 其特征 在于， 所述 步骤S2具体包括以下步骤： S21： 采用尺度不变特征变换算子从植株2D序列图像上提取特征点， 并使用最近领域搜 索算法， 建立K维空间二叉树模型， 通过K维空间二叉树模型计算每两 幅植株2D序列图像特 征点之间的欧式距离进行 特征点的立体匹配， 得到匹配点； S22： 采用一 致性算法求解相机姿态， 并对匹配点进行筛 选， 剔除错 误或离群的匹配点； S23： 基于得到的相机姿态， 使用三角测量算法恢复匹配点所对应的三维点坐标， 再通 过光束平差算法对相机姿态和三维点 坐标进行迭代优化得到稀疏点云； S24： 采用CMVS和PMVS算法对稀疏点云的特征点周围像素进行扩展， 形成稠密点云， 即 获得植株的3D点云。 3.根据权利要求1所述的一种基于多头两级注意力的三维点云语义分割方法， 其特征 在于， 在所述 步骤S3中， 所述预处 理具体包括背景去除过程和点云滤波过程； 其中： 在背景去除过程中， 对步骤S2得到的植株的3D点云， 以颜色特征为不同依据， 使用基于 颜色阈值的方法， 利用RGB通道 提取出绿色植株点云和红色纸片点云， 将点云的无关背 景部 分去除； 接着， 在点 云滤波过程中， 使用PCL点云库中的StatisticalOutlierRemoval对无关 背景部分去除后的点云进行 滤波处理， 具体过程 为：权　利　要　求　书 1/3 页 2 CN 114792372 B 2遍历点云中所有的点数据， 计算每一个点与其最近的K个近邻点之间的平均距离； 接着 计算所有平均距离的均值 和标准差 ； 此处假设有一个正态分布， 其形状是由均值 和标 准差 决定的， 因而定义为平均距离超过阈值的点为离群值， 则距离阈值 shreshold 具体计 算公式为： 其中， 是一个常数； 最后再次遍历所有点云， 移除与K个近邻点的平均距离大于距 离阈值shreshold的点。 4.根据权利要求3所述的一种基于多头两级注意力的三维点云语义分割方法， 其特征 在于， 在所述 步骤S3中， 所述人工标注具体为： 将需要人工标注的点云输入 软件中， 采用其分割工具对点云进行语义分割 标注过程， 为点云中的每个点 都分配叶子、 茎或非植物三类中的一种类别标签， 从而完成人 工标注。 5.一种基于多头两级注意力的三维点云语义分割系统， 其特征在于， 包括图像采集平 台、 三维重建模块、 预处 理模块、 人工标注模块、 语义分割网络构建模块； 其中： 所述图像采集平台通过相机获取高精度和多角度的植株2D序列图像； 所述三维重建模块用于根据采集到的植株2D序列图像进行三维重建， 获得植株的3D点 云； 所述预处 理模块用于对植株的3D点云进行 预处理； 所述人工标注模块用于对预处 理后的点云进行 人工标注； 所述语义分割 网络构建模块用于构建语义分割 网络， 将标注的点云作为输入， 由语义 分割网络进行语义标签预测得到植株 器官级的分割结果； 所述语义分割网络构建模块构建的语义分割网络具体执行以下操作： 预测点云中的点 的类别标签， 完成语义标签预测， 其中： 三维点云语义分割网络采用编码器 ‑解码器结构， 其具体执 行以下步骤： 将人工标注后的点云输入到语义分割网络中， 由一个完全连接层对点云进行升维操 作； 将升维后的点云通过四个编码器进行编码， 逐步减少点云的个数并增加每个点云的维 度； 每个编码 器由一个下采样模块和多头两级注 意力模块组成， 点云以四倍采样率下采样， 每一层仅保留了25%的点特征， 即产生的点云的基数变化为 N→N/4→N/16→N/64→N/256，N 代表点的数量； 同时， 多头两级注意力模块用于分层地 获取植物点云的几何特征， 每一层的 特征维度逐渐升高以保留更多的信息， 即特 征变换为32 →64→128→256→512； 经过编码器后使用四个解码器， 把点云的点数恢 复为N； 对于解码器 中的每一层都包含 一个上采样模块和多层感知机； 上采样模块先使用KNN算法查询每个点云最近的K个近邻 点， 然后通过最近邻插值算法对点云进行上采样； 然后通过跳跃连接将上采样的特征与相 应编码器生成的中间特征进行拼接得到融合的特征图； 最后将融合的特征图输入到一个多 层感知机得到 输出； 通过三个共享的完全连接层， 即维度变化为(N,128) →(N,32)→(N, C)， 并在第一个完 全连接层之后应用了一个随机丢失率设为 的dropout层， 为小于1的自然数； 语义分割网 络的输出为 N×C的语义标签预测结果， 其中 C代表类别数。权　利　要　求　书 2/3 页 3 CN 114792372 B 3