(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211390106.8 (22)申请日 2022.11.08 (71)申请人 长春理工大 学 地址 130022 吉林省长 春市朝阳区卫星路 7186号 (72)发明人 詹伟达　曹可亮　郝子强　蒋一纯　 郭金鑫　 (74)专利代理 机构 北京中理通专利代理事务所 (普通合伙) 11633 专利代理师 张琳琳 (51)Int.Cl. G06T 17/20(2006.01) G06N 3/08(2006.01) G06T 5/50(2006.01) G06N 3/04(2006.01) (54)发明名称 基于感知一致损失的多视图立体匹配重建 方法及系统 (57)摘要 基于感知一致损失的多视图立体匹配重建 方法及系统， 属于三维重建领域， 为解决现有技 术存在内存占用严重且完整度较低的问题， 该方 法步骤1， 构建网络模型： 整个网络包括特征提取 模块， 金字塔体积正则化模块和双校正层模块； 步骤2， 准备数据集： 将 源图像和参考图像作为数 据的输入， 从参考的视图中使用原始3D点来估计 三维结构的稠密深度图D； 步骤3， 训练网络模型： 将步骤2中准备好的数据集输入到步骤1中构建 好的网络模型中进行训练； 步骤4， 设计损失函数 并回归； 步骤5， 保存模型并测试； 步骤6， 点云融 合并重建： 将步骤5得到的三维点云进行融合， 然 后运用MeshLab软件 来查看融合后的匹配重建效 果， 选择最优评估指标来衡量算法的精度和系统 的性能。 权利要求书2页 说明书7页 附图3页 CN 115546442 A 2022.12.30 CN 115546442 A 1.基于感知一 致损失的多视图立体匹配重建方法， 其特 征是， 该方法包括如下步骤： 步骤1， 构建网络模型： 整个网络包括特征提取模块， 金字塔体积正则化模块和双校正 层模块， 且每个模块均由卷积层、 正则化和激活函数组成； 特征提取模块对输入的源图像和 参考图像进行特征提取， 金字塔体积正则化模块， 对提取到的特征进行下采样提取以及上 采样整合正则化来构建3D成本体积， 得到稠 密的深度图； 最后， 双校正层 模块对得到的深度 图进行简单的滤波 去除冗余信息， 优化深度图组合并保留有用信息； 步骤2， 准备数据集： 将源图像和参考图像作为数据的输入， 从参考的视图中使用原始 3D点来估计三维结构的稠密深度图D； 步骤3， 训练网络模型： 将步骤2中准备好的数据集输入到步骤1中构建好的网络模型中 进行训练； 步骤4， 设计损失函数并回归： 通过将数据增强一致损失得到的深度信息与深度感知损 失得到的深度信息进行视差比较， 得到有效的地表深度值作为监督传到深度回归损失中， 直到训练 次数达到 设定阈值或损失函数的值到达设定范围内， 即可认为模 型参数已训练完 成， 保存模型参数； 步骤5， 保存模型并测试： 将最终确定的模型参数进行固化， 在需要进行点云融合并重 建操作时， 直接将图像输入到网络中即可 得到最终的三维点云； 步骤6， 点云融合并重建： 将步骤5得到的三维点云进行融合， 然后运用MeshLab软件来 查看融合后的匹配重建效果； 同时为进一步验证模型 的好坏， 选择最优评估指标来衡量算 法的精度和系统的性能。 2.根据权利要求1所述的基于感知一致损失的多视图立体匹配重建方法， 其特征在于， 所述步骤1中特征提取模块包含八个卷积层， 卷积层一、 卷积层二、 卷积层三进行下采样操 作， 将特征图大小缩减一半、 卷积层四、 卷积层五、 卷积层六对上述特征图进 行下采样操作， 将特征图大小再缩减一半， 最后由卷积层七和卷积层八输出； 特征提取模块的每个卷积层 的输出均经过正则化操作； 金字塔体积正则化模块包含十个卷积层， 三维卷积层一和三维 卷积层二对提取到的特征进行第一次下采样， 三 维卷积层三和三 维卷积层四对提取到的特 征进行第二次下采样， 三维卷积层五、 三维卷积层六和三维卷积层七来输出卷积后的特征 信息； 三维反卷积层一对输入进 行上采样， 经过激活函数输出反卷积后的特征信息， 三 维反 卷积层二对三维卷积层二的输出进行上采样， 经过激活函数输出反卷积后的特征信息， 三 维反卷积层三对三维卷积层四的输出进行上采样， 经过激活函数输出反卷积后的特征信 息， 最后将上述特征信息整合来构建3D成本体积， 得到稠密的深度图； 金字塔体积正则化模 块的每个卷积层的输出均进行正则化操作； 双校正层 模块包含四个卷积层， 卷积层一、 卷积 层二、 卷积层三对得到的深度图进行简单 的滤波去除冗余信息， 卷积层四对输入进行上采 样和通道转换来优化深度图组合并保留有用信息； 双校正层模块中每个卷积层的输出均进 行正则化操作； 所有 卷积层中二 维卷积核的大小统一为n ×n； 三维卷积核的大小统一为n × n×n。 3.根据权利要求1所述的基于感知一致损失的多视图立体匹配重建方法， 其特征在于， 所述步骤3中在训练过程中数据集使用DTU； 通过对数据集中相机内外参数的计算， 从多帧 图像中估计重建物体的位姿来进行半监督的训练； 将多帧图片、 标定好的相 机参数以及深 度信息作为整个网络的输入， 将损失计算匹配的地表信息作为标签， 解决在三维重建领域权　利　要　求　书 1/2 页 2 CN 115546442 A 2大部分只能进行有监 督训练的问题。 4.根据权利要求1所述的基于感知一致损失的多视图立体匹配重建方法， 其特征在于， 所述步骤4中在训练过程中损失函数选择使用数据增强一致损失和深度感知损失的组合； 得到的深度图像不但能保证其平滑性且稠密度相当， 而且还需要突出物体表面真实性的细 节部分， 提升融合 点云的匹配重建效果。 5.根据权利要求1所述的基于感知一致损失的多视图立体匹配重建方法， 其特征在于， 所述步骤5中在保存模型后， 可利用ETH3D数据集以及Tank&Temples数据集进行测试， 评估 其泛化能力。 6.根据权利要求1所述的基于感知一致损失的多视图立体匹配重建方法， 其特征在于， 所述步骤6中评估指标选择准确度和完整度， 能够有效评估算法的效率， 衡量匹配网络的作 用。 7.一种基于感知一 致损失的多视图立体匹配重建系统， 其特 征是， 该系统包括： 图像获取单元， 其用于获取源图像及多个视角的参考图像， 其中参考图像可经过处理 将部分地表信息去掉， 来进行半监 督的训练； 图像训练单元， 其用于将源图像和参考图像输入网络中进行训练， 通过对数据集中相 机内外参数 的计算， 从多帧图像中估计重建物体的位姿来进行半监督的训练； 并且将初始 计算的深度图输入到方法中设计的校正层， 来过滤掉冗余的深度信息， 得到更加平滑的深 度图； 深度图优化单元， 其用于将训练输出的深度图， 通过方法中设计的损失函数， 来计算匹 配的地表信息作为标签参与训练， 进 而得到稠密的深度图； 点云融合并重建单元， 其用于将稠密的深度图， 融合成三维点云， 并根据融合的点云进 行三维建模， 以得到立体视 觉图。权　利　要　求　书 2/2 页 3 CN 115546442 A 3