(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210133958.2 (22)申请日 2022.02.14 (71)申请人 安徽大学 地址 230039 安徽省合肥市蜀山区肥西路3 号 (72)发明人 孙战里　魏帅帅　 (74)专利代理 机构 合肥市浩智运专利代理事务 所(普通合伙) 34124 专利代理师 张景云 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/77(2022.01) G06V 10/762(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06T 7/73(2017.01) G06N 3/04(2006.01) (54)发明名称 三维点云 分类及旋转姿态预测方法及系统 (57)摘要 本发明公开三维点云分类及旋转姿态预测 方法及系统， 旋转不变性表示模块中先计算点云 中每个点对应的法向量。 在法向量点云上聚类得 到与输入点 云旋转同变的参考轴， 以此参考轴固 定点云的旋转姿态。 在点云分类网络中， 输入点 云先经过旋转不变性表示模块多次旋转后输入 共享参数的点云特征提取网络得到类内一致性 特征表示。 在点云旋转姿态预测 网络中， 经过旋 转不变性表 示模块并记录该次旋转的旋转矩阵， 利用分类神经网络预测姿态分类结果对应第二 个旋转矩阵， 两次的旋转矩阵共同得出对旋转姿 态的预测。 本发 明以旋转不变性表 示模块作为前 置模块设计了旋转鲁棒的点云分类神经网络以 及旋转姿态预测网络， 可以更进一步提高了三维 点云处理网络的旋转鲁棒 性。 权利要求书4页 说明书11页 附图3页 CN 114511745 A 2022.05.17 CN 114511745 A 1.三维点云 分类及旋转姿态预测方法， 其特 征在于， 基于以下定义： 将具有n个点的点云表示为 其中第i行表示点云P中的第i个点Xi的笛卡尔坐标 (xi,yi,zi)； 方法包括以下步骤： 步骤1、 设计三维点云旋转 不变性表示模块， 具体包括： 步骤1.1、 对输入点云中的任意一个点， 计算出距离其最近的k个近邻点， 所述k个近邻 点包含着物体局部的表面信息； 步骤1 .2、 估算所述k个近邻点所对应的点云局部法向量， 具体的公式表示为： Xij代表中心点Xi邻域内的第j个点， 代表这k个邻域点 的 均值， Ci代表这k个邻域点的协方差， 计算该协方差矩阵最小的特征值所对应的特征向量即 为所需要的点云表面法向量； 步骤1.3、 将所有点处得到的法向量聚合 为一个法向量 点云 步骤1.4、 对法向量点云 进行聚类求得参考z轴， 所述z轴代表点云中最大平面法 向量的方向， 旋转该点云使真实z轴 与参考z轴重合； 将所有点投影到xy平 面， 删除与 原点距 离小于设定值以内的点， 将剩余点全部单位化， 形成平面上的圆环形状的点云， 对该平面点 云再次进 行聚类操作， 选取第二个参考轴， 将其作为参考x轴， 所述参考x轴由点云中第二大 平面决定； 再次旋转该点云， 使参 考x轴与真实x轴重合； 此时点云的旋转姿态被固定； 步骤2、 以旋转不变性表示模块作为前置模块， 设计具有旋转鲁棒性的三维点云分类神 经网络， 具体包括： 步骤2.1、 输入具有随机旋转的点云， 经过旋转不变性表示模块后对于同一点云将具有 唯一固定的方向； 步骤2.2、 将步骤2.1中固定角 度的点云进行24次旋转后输入共享参数的DGCNN特征提 取结构中得到24个对应的点云特 征向量； 步骤2.3、 将所述24个对应的点云特征向量输入最大池化层， 得到最终的类内一致性特 征向量， 输入最终用于分类的全连接层， 得到最终的分类结果； 步骤3、 以旋转 不变性表示模块 为基础， 设计旋转姿态预测网络， 具体包括： 步骤3.1、 在所述DGCNN之前加入旋转不变性表示模块， 所述旋转不变性表示模块用以 固定点云的旋转角度为某一个规 律的方向， 并记录所 经过的旋转矩阵R1； 步骤3.2、 将DGCNN网络的类别数修改为24， 用来预测24个规律的旋转姿态， 所述旋转不 变性表示模块可以记录随机旋转后的输入点云将旋转姿态固定过程中的旋转矩阵， 将旋转 姿态固定过程中的旋转矩阵与24个类别对应的旋转矩阵相乘即可得到最终预测的旋转矩 阵； 步骤3.3、 训练过程中， 需要得到经过旋转不变性表示模块处理后的点云所对应的旋转 分类标签， 将数据集中原始的对齐点云姿态设置为类别0， 将其旋转2 4次并将每一次的旋转 结果对应一个类别， 记录对应的固定旋转矩阵， 原始对齐的点云经过一个随机旋转以及一 个旋转不变性表示模块所施加的旋转后作为DGCNN网络的输入， 将两个旋转矩阵相乘后与 分类类别对应的旋转矩阵相比较， 两者角度差最小的作为 最终姿态分类标签；权　利　要　求　书 1/4 页 2 CN 114511745 A 2步骤3.4、 测试阶段将旋转不变性表示模块求得的旋转矩阵与分类标签对应的旋转矩 阵相乘的逆作为对最 终旋转姿态所对应旋转矩阵的预测值， 求得预测值相对于实际值的角 度误差作为评判网络效果的指标。 2.根据权利要求1所述的三维点云分类及旋转姿态预测方法， 其特征在于， 所述步骤 1.4中已知两个坐标轴， 需要旋转 点云使之重合， 具体用到的公式可以表示 为： q0＝cos( θ /2)、 q1＝x·sin( θ /2)、 q2＝y·sin( θ /2)、 q3＝z·sin( θ /2)、 其中θ表示从参考轴到真实坐标轴的角度， (x,y,z)表示参考轴与真实坐标轴叉积的结 果， (q0,q1,q2,q3)表示从参考轴到真实坐标轴旋转的四元组， R表示从参考轴到真实坐标轴 的旋转矩阵。 3.根据权利要求1所述的三维点云分类及旋转姿态预测方法， 其特征在于， 所述步骤 3.3中通过旋转矩阵求对应的旋转角度的方法： 根据旋转矩阵计算得出对应的旋转角度的公式表示为： Ra＝R1R2、 其 中R1表示经过随机旋转以及旋转不变性表示模块后的总的旋转矩阵， R2表示预测旋转姿态 类别所对应的旋转矩阵的逆， 24个旋转姿态分类对应24个旋转矩阵， 分别代入R2求得对应 的24个角度θ， 以最小的一个θ对应的分类作为真实标签， 来训练本实施例的旋转姿态预测 网络。 4.根据权利要求1所述的三维点云分类及旋转姿态预测方法， 其特征在于， 步骤2和步 骤3中训练网络模型的实验设置如下： 实验均在CentOS  Linux 7的集群上运行， 使用一块 Tesla V100 32G的gpu以及10.1版本的cuda。 5.三维点云 分类及旋转姿态预测系统， 其特 征在于， 基于以下定义： 将具有n个点的点云表示为 其中第i行表示点云P中的第i个点Xi的笛卡尔坐标 (xi,yi,zi)； 方法包括以下步骤： 三维点云旋转不变性表示模块设计模块， 用以设计三维点云旋转不变性表示模块， 具 体包括： 步骤1.1、 对输入点云中的任意一个点， 计算出距离其最近的k个近邻点， 所述k个近邻 点包含着物体局部的表面信息； 步骤1 .2、 估算所述k个近邻点所对应的点云局部法向量， 具体的公式表示为： Xij代表中心点Xi邻域内的第j个点， 代表这k个邻域点 的 均值， Ci代表这k个邻域点的协方差， 计算该协方差矩阵最小的特征值所对应的特征向量即 为所需要的点云表面法向量； 步骤1.3、 将所有点处得到的法向量聚合 为一个法向量 点云 步骤1.4、 对法向量点 云 进行聚类求得参考z轴， 所述z轴代表点 云中最大平面 法权　利　要　求　书 2/4 页 3 CN 114511745 A 3