(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210816104.4 (22)申请日 2022.07.12 (71)申请人 上海人工智能创新中心 地址 200232 上海市徐汇区云锦路701号 37、 38层 (72)发明人 王晖杰　田昊　李嘉玮　卢乐炜　 李弘扬　代季峰　乔宇　 (74)专利代理 机构 上海智晟知识产权代理事务 所(特殊普通 合伙) 31313 专利代理师 李镝的 (51)Int.Cl. G06T 7/11(2017.01) G06V 10/26(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 三维点云语义分割方法 (57)摘要 本发明提供了一种三维点云语义分割方法， 包括： 建立融合多种点云表达方式的神经网络； 采用经过体素化处理的多帧点云作为神经网络 输入； 通过神经网络结合神经网络输入信息的 图 像信息和时序信息， 进行三维点云语义分割； 以 及通过聚类算法对三维点云语义分割结果进行 后处理。 权利要求书2页 说明书7页 附图2页 CN 115170585 A 2022.10.11 CN 115170585 A 1.一种三维点云语义分割方法， 其特 征在于， 包括： 建立融合多种点云表达方式的神经网络； 采用经过体素化处 理的多帧点云作为神经网络 输入； 通过神经网络结合神经网络输入信息的图像信息和时序信息， 进行三维点云语义分 割； 以及 通过聚类算法对三维点云语义分割结果进行后处 理。 2.如权利要求1所述的三维点云语义分割方法， 其特 征在于， 还 包括： 通过点云的多种表达方式， 弥补在体素空间的分辨率不足及在点空间的感受野不足； 以及 通过不同的体素空间划分方式， 弥补远处点云的稀疏。 3.如权利要求2所述的三维点云语义分割方法， 其特 征在于， 还 包括： 通过将点分支和多种体素划分方式的体素分支进行 结合， 进行三维点云语义分割； 通过引入神经网络输入信 息的图像信 息和时序信 息， 提升三维点云语义分割的语义分 割结果精度； 以及 基于聚类对三维点云语义分割结果进行后处 理， 进一步提升所述语义分割结果精度。 4.如权利要求3所述的三维点云语义分割方法， 其特 征在于， 还 包括步骤一： 采集每帧点云和二维图像， 通过投影关系将二 者数据集中并对应； 通过投影关系获取点云和二维图像的空间对应关系； 通过额外训练的二维图像 语义分割网络， 获得二维图像的语义分割结果； 以及 通过投影关系、 以及二维图像的语义分割结果获取对应点云的类别信息， 将类别信息 通过one‑hot编码作为 点云的额外特 征维度。 5.如权利要求 4所述的三维点云语义分割方法， 其特 征在于， 所述 步骤一还 包括： 通过多帧点云拼接引入时序信息； 将一帧点云作为网络的输入， 将该帧点云前五帧的点云和后五帧的点云作为额外的神 经网络输入信息， 增 加一维特 征维度表示相对于当前帧的相对时间信息； 基于引入多帧点云导致增加点云数量、 降低网络效率或造成内存溢出错误， 对神经网 络输入的当前帧和前五帧的点云和后五帧的点云进行体素化处 理， 以降低点的数量； 以及 体素化后的体素当作点， 以作为神经网络 输入信息 。 6.如权利要求5所述的三维点云语义分割方法， 其特 征在于， 还 包括步骤二： 经过步骤一处 理的点云作为神经网络 输入信息； 所述神经网络包括中间的点分支， 通过多层感知器进行运算， 以保持点云的分辨率不 变， 不含有下采样和上采样运 算； 所述神经网络还包括两个体素分支， 分别为笛卡尔式体素划分分支和圆柱体式体素划 分分支， 以增 加网络感受野和缓解 点云不均匀； 以及 两个体素分支均通过稀疏卷积进行运算， 均为UNet结构， 在运算过程中共用四次下采 样和上采样运 算。 7.如权利要求6所述的三维点云语义分割方法， 其特 征在于， 所述 步骤二还 包括： 在神经网络运 算过程中， 体素分支分别在不同阶段与点分支进行信息交 互； 点分支的特 征和体素分支中的特 征进行加法运 算；权　利　要　求　书 1/2 页 2 CN 115170585 A 2体素和点的对应关系通过其 三维空间坐标确定； 以及 两个体素分支上的特 征被添加至点分支上， 再通过多层感知器进行点的分类运 算。 8.如权利要求7 所述的三维点云语义分割方法， 其特 征在于， 还 包括步骤三： 通过聚类的方式避免物体上的少数点被分类成别的类别； 以及 通过追踪的方式确保同一物体在一段时间内的连续帧中具有分类的连续性， 避 免同一 物体在不同的帧中被分类成不同的类别。 9.如权利要求1所述的三维点云语义分割方法， 其特 征在于， 还 包括： 通过提高平均交并比， 预测出 更加准确的三维点云语义分割结果。 10.一种计算机可读存储介质， 其上存储有计算机程序， 所述计算机程序在被处理器执 行时执行根据权利要求1 ‑9之一所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 115170585 A 3