(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211276103.1 (22)申请日 2022.10.19 (65)同一申请的已公布的文献号 申请公布号 CN 115345923 A (43)申请公布日 2022.11.15 (73)专利权人 佛山科学技术学院 地址 528200 广东省佛山市南海区狮山 镇 广云路33号 (72)发明人 黄峰　罗子芮　骆志强　尹博　 张盘德　黄文柱　燕铁斌　王志军　 刘瑞　徐硕瑀　陈钢　谢韶东　 陈仰新　方永宁　华夏　尹杰　 (74)专利代理 机构 广州专理知识产权代理事务 所(普通合伙) 44493 专利代理师 邓易偲(51)Int.Cl. G06T 7/55(2017.01) G16H 20/30(2018.01) G06T 7/80(2017.01) G06T 17/00(2006.01) (56)对比文件 CN 10873 5279 A,2018.1 1.02 CN 112150609 A,2020.12.2 9 CN 111598993 A,2020.08.28 CN 109448041 A,2019.0 3.08 金天弘等.医学图像三维重建的研究. 《医疗 卫生装备》 .20 08,第29卷(第02期),第34- 36页. 审查员 谭岳峰 (54)发明名称 一种用于脑功能康复训练的虚拟场景三维 重建方法 (57)摘要 本发明提供了一种用于脑功能康复训练的 虚拟场景三维重建方法， 获取目标物体， 通过摄 像机以多个角度拍摄目标物体得到多张目标图 像， 对摄像机进行摄像机标定， 得到单应性矩阵， 通过单应性矩 阵对多张目标图像进行修正得到 多张修正图像， 通过多张修正图像进行三维重 建， 得到三维模型。 所述方法能够完成真实物体 的三维重建， 将其用于脑功能康复训练中能够帮 助脑卒中患者完成记忆恢复， 通过对拍摄到的目 标图像进行修正， 加速三维重建过程， 还能够适 度降低三维重建的模型精度从而减少脑卒中患 者产生的不适感， 使 得患者在康复训练中更舒适 地观看三维模型， 提高训练效果。 权利要求书3页 说明书8页 附图1页 CN 115345923 B 2022.12.27 CN 115345923 B 1.一种用于脑功能康复训练的虚拟场景三维重建方法， 其特征在于， 所述方法包括以 下步骤： S100， 获取目标物体， 通过摄 像机以多个角度拍摄目标物体得到多张目标图像； S200， 对摄像机进行摄 像机标定， 得到单应性矩阵； S300， 通过单应性矩阵对多张目标图像进行修 正得到多张修 正图像； S400， 通过多张修 正图像进行三维重建， 得到三维模型； 其中， 步骤S300， 通过单应性矩阵对多张目标图像进行修正得到多张修正图像的方法 具体为： S301， 将多张目标图像依次输入到opencv中的warpPerspective(src,  h, size)函数 得到多张修正图像， 其中， src为目标图像， h为单应性矩阵， size=(width,height)， widt h和 height分别为多张目标图像中任意 一张图像的宽度和高度， 转至S3 02； S302， 记多张修正 图像的数量为N， 将N张修正 图像按拍摄时间从前到后进行排列构成 格图序列Cs， 记Cs(i)为格图序列中的第i张图像， i∈[1,N]， 计算格图序列中每张图像的重 建修复度， 记重建修复度最小的图像为重建图像， 初始化一个滑动窗口winSize， 滑动窗口 的宽度=重建图像的宽度/(t*N)， 滑动窗口的高度=重建图像的高度/(t*N)， t设定为[3,5] 中的整数， 转至S3 03； 其中， 重建图像的宽度和高度的单位 为像素； S303， 初始化整数变量j1=1， j1∈[1,N]， 设置整数变量j2， j2∈[1,N]， 令j2的初始值为 j1+1， 转至S3 04； S304， 记Cs(j1)的宽度和高度分别为W1和H1， 通过winSize对Cs(j1)进行滑动切分得到 多个子图像块并以序列Sib储存， 记Sib(k)为序列Sib中的第k个子图像块， k∈[1,M]， M为所 有子图像块的数量， 初始化整数变量j3， j3∈[1,M]， 令j3的初始值 为1， 转至S3 05； S305， 记Cs( j2)的宽度和高度分别为W2和H2， 记变量VA1=(W2/W1)， 记变量VA2=(H2/ H1)， 转到S3 06； S306， 记Sib(j3)的左上角的点的像素坐标为Tlp=(x1,y1)， 记Sib(j3)的左下角的点的 像素坐标为Dlp=(x2,y2)， 记Sib(j3)的右上角的点的像素坐标为Trp=(x3,y3)， 记Sib(j3) 的右下角的点的像素坐标为Drp=(x4,y4)； 令Cs(j1)的重建修复度为CG1， Cs(j2)的重建修 复度为CG2； 当W1<W2并且CG1≤CG2时， 更新Tlp=(x1+VA1,y1)， 更新D lp=(x2+VA1,y2)， 更新Trp=(x3 +VA1,y3)  更新Drp=(x4+VA1,y4)； 当W1>W2并且CG1≤CG2 时， 更新Tlp=(x1 ‑VA1,y1)， 更新 Dlp=(x2‑VA1,y2)， 更新Trp=(x3 ‑VA1,y3) 更新Drp=(x4 ‑VA1,y4)； 当H1<H2并且CG1＞CG2时， 更新Tlp=(x1,y1+VA2)， 更新Dlp=(x2,y2+VA2)， 更新Trp= (x3,y3+VA2)， 更新Drp=(x4,y4+VA2)； 当H1>H2并且CG1＞CG2时， 更新Tlp=(x1,y1 ‑VA2)， 更 新Dlp=(x2,y2 ‑VA2)， 更新Trp=(x3,y3 ‑VA2) ， 更新Drp=(x4,y4 ‑VA2)； 在Cs(j2)中依次连接像素坐标为Tlp、 Dlp、 Trp、 Drp的四个像素， 构成图像子块TemSib， 转至S307； S307， 若图像子块TemSib的重建修 复度小于Sib(j3)的重建修 复度， 将Sib(j3)放大S倍 得到放缩图像子块RiSib， 在Cs(j2)中将子图像块TemSib替换为放缩图像子块RiSib得到替 换后的Cs(j2)； 若j3的值小于M， 令j3的值增加1， 转至S306， 若j3的值大于等于M， 转至S308； 其中， S=(Sib(j3)的面积)/(TemSib的面积)， 所述 面积即图像的宽度乘以高度；权　利　要　求　书 1/3 页 2 CN 115345923 B 2S308， 若j2的值小于N， 令j2的值增加1， 重置j3的值为1， 转至S305； 若j2的值大于等于 N， 令j1的值增 加1， 清空序列Sib中的所有元 素， 重置j2的值 为j1+1， 转至S3 09； S309， 若j1的值小于等于N， 转至S3 04， 若j1的值大于N， 转至S310； S310， 输出格图序列Cs； 其中， 图像或图像子块的重建修复度的计算方法为： ， 式中， Rsd代表图像或图像子块的重建修复度， 代表图像或图像子块中所有像素点 的像素值的平均值， W为图像或图像子块的宽度， L为图像或图像子块的高度， a、 b为变量， g (a,b)为图像或图像子块中像素坐标为(a,b)的像素点的像素值。 2.根据权利要求1所述的一种用于脑功能康复训练的虚拟场景三维重建方法， 其特征 在于， 步骤S100中， 所述目标物体为参与脑功能康复训练的患者所熟悉的物品或模型， 所述 模型为患者所 熟悉的建筑或车辆的一比一高精度还原模型。 3.根据权利要求1所述的一种用于脑功能康复训练的虚拟场景三维重建方法， 其特征 在于， 步骤S400中， 通过多张修正图像进行三维重建， 得到三维模型的方法具体为： 读取格 图序列中的所有修正图像， 将所有修正图像输入到三 维建模软件中， 完成三 维重建， 所述三 维建模软件为Autodesk  123d catch、 Tinkercad、 VisualSFM、 Meshlab、 Autodesk  ReCap  360 photo中的任意 一个。 4.根据权利要求1所述的一种用于脑功能康复训练的虚拟场景三维重建方法， 其特征 在于， 将所述 三维模型用于脑 功能康复训练时使用的显示器端的画面输出。 5.一种用于脑功能康复训练的虚拟场景三维重建系统， 其特征在于， 所述一种用于脑 功能康复训练的虚拟场景三维重建系统包括： 处理器、 存储器及存储在所述存储器中并在 所述处理器上运行 的计算机程序， 所述处理器执行所述计算机程序时实现如权利要求1所 述的一种用于脑功能康复训练的虚拟场景三 维重建方法中的步骤， 所述一种用于脑功能康 复训练的虚拟场景三维重建系统运行于桌上型计算机、 笔记本电脑、 掌上电脑或云端数据 中心的计算设备中； 其中， 步骤S300， 通过单应性矩阵对多张目标图像进行修正得到多张修正图像的方法 具体为： S301， 将多张目标图像依次输入到opencv中的warpPerspective(src,  h, size)函数 得到多张修正图像， 其中， src为目标图像， h为单应性矩阵， size=(width,height)， widt h和 height分别为多张目标图像中任意 一张图像的宽度和高度， 转至S3 02； S302， 记多张修正 图像的数量为N， 将N张修正 图像按拍摄