(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210697032.6 (22)申请日 2022.06.20 (71)申请人 众趣 （北京） 科技有限公司 地址 100000 北京市朝阳区安定路3 3号化 信大厦16层 (72)发明人 任轶群　黄敏生　高翔　 (74)专利代理 机构 北京汇捷知识产权代理事务 所(普通合伙) 11531 专利代理师 霍从芳 (51)Int.Cl. G06T 17/00(2006.01) (54)发明名称 一种房屋三维模型破洞自动填补方法 (57)摘要 本发明提供了一种房屋三维模型破洞自动 填补方法， 包括如下步骤： 步骤一、 通过房屋三维 模型， 获取房屋内部彩色全景图， 并将该色彩全 景图输入神经网络进行语义识别与分别， 获取若 干不同区域的区域范围； 步骤二、 根据房屋三维 模型的点云信息生成深度全景图； 步骤三、 调整 步骤二中的深度全景图使其像素点与分割后的 彩色全景图一一对应； 步骤四、 根据点云法线信 息对步骤一中某一区域范围进行边缘检测， 获取 破洞区域； 本发 明解决了 现有三维模 型修补方法 效率低下、 过程繁琐， 与现实场景有一定差别等 问题。 权利要求书1页 说明书4页 附图1页 CN 114998523 A 2022.09.02 CN 114998523 A 1.一种房屋三维模型破洞自动填补方法， 其特 征在于： 包括如下步骤： 步骤一、 通过房屋三维模型， 获取房屋内部彩色全景图， 并将该色彩全景图输入神经网 络进行语义识别与分别， 获取若干不同区域的区域范围； 步骤二、 根据房屋三维模型的点云信息生成深度全景图； 步骤三、 调整步骤二中的深度全景图使其像素点与分割后的彩色全景图一 一对应； 步骤四、 根据点云法线信息对步骤一中某一区域范围进行边 缘检测， 获取破洞区域； 步骤五、 获取步骤四中破洞区域附近的点在深度全景图相应位置处的深度数据， 利用 获取的深度数据对相应的破洞区域进行填补； 步骤六、 重复步骤四和步骤五， 以完成对房屋三维模型全部区域范围的破洞填补。 2.根据权利要求1所述的一种房屋三维模型破洞自动 填补方法， 其特征在于： 所述步骤 二中通过反投影技 术获取与彩色全景图分辨 率相同且视场角相同的深度全景图。 3.根据权利要求1所述的一种房屋三维模型破洞自动 填补方法， 其特征在于： 所述步骤 二中深度全景图获取 方法， 包括如下步骤： S1、 获取三维模型点云中每 个点三维坐标； S2、 基于S1中每 个点三维坐标， 通过三角函数获取每 个点的经度角和 纬度角； S3、 根据S2中每个点的经度角和纬度角与彩色全景图视野角度比例关系， 获取深度全 景图中每 个点坐标， 获取深度全景图。 4.根据权利要求1所述的一种房屋三维模型破洞自动 填补方法， 其特征在于： 所述步骤 五中深度数据获取 方式如下： 设定深度全景图位于破洞区域附近的点为p， 其坐标为[u,v]， 将P点坐标转换为三维坐 标[X,Y,Z]， 点p的深度值为d， 得到转换后 p点的经度角u'和维度角v'； 其中， width和height 为深度全景图的宽和高； u'＝u*360/width； v'＝v*180 /height； X＝d*cos(v')* cos(u') Y＝d*sin(v') Z＝d*cos(v')*si n(u') 通过对所有深度点进行深度恢复， 得到破洞区域的深度数据。权　利　要　求　书 1/1 页 2 CN 114998523 A 2一种房屋三维模型破洞自动填补方 法 技术领域 [0001]本发明涉及计算机技 术领域， 具体涉及一种房屋三维模型破洞自动填补方法。 背景技术 [0002]室内模型的三维重建需要深度数据和 彩色数据， 通过准确标定 的相机参数， 可以 得到准确的彩色点云数据； 即带有色彩信息的点云。 深度数据有多种获取方式(雷达或深度 相机)， 使用结构光相机是一种 经济且快捷的方法。 但由于结构光相 机的固有缺点， 遇到强 光或反射率大的物体， 例如镜子、 玻璃， 经常会得不到完整数据， 造成深度数据缺失的情况 出现。 用这种深度数据缺 失的原始数据， 重 建的三维模型， 在窗户、 镜子等区域， 通常会有破 洞生成， 极大的影响了模型的没完整度和美观程度。 现实工作环境中， 针对模型部 分缺失的 问题， 有人工修补和自动化修补两种方式。 人工修补是最普遍的补救方案， 人工修补十 分耗 时， 也耗费人力， 效率很低； 采用自动化修补方式繁琐， 且修补后的三维模型与现实场景有 一定差别(传统的自动化修补方式无法准确的判断出破洞的边界和破洞处的实际状况， 补 出的模型容 易产生误差， 例如墙角区域被补成斜 面)。 发明内容 [0003]为了克服现有技术的不足， 本发明提供了一种房屋三维模型破洞自动填补方法， 解决了现有三维模型修补方法效率低下、 过程繁琐， 与现实场景有一定 差别等问题。 [0004]本发明解决其技术问题所采用的技术方案是： 一种房屋三维模型破洞自动填补方 法， 包括如下步骤： [0005]步骤一、 通过房屋三维模型， 获取房屋内部彩色全景图， 并将该色彩全景图输入神 经网络进行语义识别与分别， 获取若干不同区域的区域范围； [0006]步骤二、 根据房屋三维模型的点云信息生成深度全景图； [0007]步骤三、 调整步骤二中的深度全景图使其像素点与分割后的彩色全景图一一对 应； [0008]步骤四、 根据点云法线信息对步骤一中某一区域范围进行边缘检测， 获取破洞区 域； [0009]步骤五、 获取步骤四中破洞区域附近 的点在深度全景 图相应位置处的深度数据， 利用获取的深度数据对相应的破洞区域进行填补； [0010]步骤六、 重复步骤四和步骤五， 以完成对房屋三维模型全部区域范围的破洞填补。 [0011]优选的， 所述步骤二中通过反投影技术获取与彩色全景图分辨率相同且视场角相 同的深度全景图。 [0012]优选的， 所述 步骤二中深度全景图获取 方法， 包括如下步骤： [0013]S1、 获取三维模型点云中每 个点三维坐标； [0014]S2、 基于S1中每 个点三维坐标， 通过三角函数获取每 个点的经度角和 纬度角； [0015]S3、 根据S2中每个点的经度角和纬度角与彩色全景图视野角度比例关系， 获取深说　明　书 1/4 页 3 CN 114998523 A 3