(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210449508.4 (22)申请日 2022.04.26 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 吴丹　许浩安　施文　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 傅朝栋　张法高 (51)Int.Cl. G06T 17/20(2006.01) G06T 7/30(2017.01) G06V 10/74(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于特征关联融合的胎儿大脑磁共振运动 校正方法及装置 (57)摘要 本发明公开了一种基于特征关联融合的胎 儿大脑磁共振运动校正方法及装置。 该方法首先 采集胎儿大脑的磁共振结构像数据， 并进行预处 理和感兴趣区提取； 然后通过二维卷积神经网 络、 双向循环神经网络提取各层面间的时空运动 特征； 再通过三维卷积神经网络和亲和融合模块 提取各层面与参考体积在结构上的相似信息， 并 由全连接层根据运动特征与相似信息得到各层 面的运动参数； 最后根据预测的运动参数进行校 正， 并使用超分辨率重建得到胎儿大脑高分辨率 的体积。 在网络训练方面， 首先利用传统的运动 校正和超分辨率重建得到高分辨率的体积， 然后 仿真添加随机的运动。 本方法有提升了运动轨迹 估计的鲁棒性和准确性， 能校正更大幅度的胎儿 大脑运动， 进 而提高体积重建的成功率。 权利要求书3页 说明书15页 附图3页 CN 115115803 A 2022.09.27 CN 115115803 A 1.一种基于特征关联融合的胎儿大脑磁共振运动校正方法， 用于迭代地校正磁共振图 像中随机的层间运动， 其特 征在于， 包括以下步骤： S1、 获取包含不同磁共振图像样本的第一数据集， 其中每一个磁共振图像样本均包含 沿胎儿大脑横断面、 冠状面和矢状面方向分别采集得到的三个层面集； 对第一数据集中每 个磁共振图像样本进行预处理， 各自获得超分辨率的各向同性的胎 儿大脑体积， 形成第二 数据集； S2、 仿真获得胎儿大脑随机初始的运动参数， 每组运动参数包含三个旋转参数和三个 平移参数； 根据仿 真获得的运动参数对第二数据集中的胎儿大脑体积以三维刚性变换形式 进行采样， 每一组运动参数对一幅胎儿大脑体积进行采样后得到一个采集方向上 受运动影 响的层面集； 由一系列受运动影响的层面集组成训练数据， 且三个方向上受运动影响的层 面集通过离散数据估计方法得到的各向 同性的参考体积， 训练数据中的单个训练样本包含 一个受运动影响的层面 集以及该层面 集对应的参 考体积； S3、 利用所述训练数据对深度学习网络进行训练， 得到运动参数估计模型； 所述深度学习 网络的网络输入分为两部分， 第一部分输入为单个层面集， 第二部分输 入为与第一部 分中层面集对应的参考体积； 所述深度学习网络中的运动参数估计流程如a) ～c)： a)、 将第一部分输入中的每个层面图像分别通过二维卷积神经网络提取得到各自对应 的二维特征图， 二维特征图分别通过双向循环神经网络提取得到各层面二维特征图间的序 列关系； 将第二部分输入中的参考体积通过三维卷积神经网络提取得到三维特征图； 二维 特征图和三 维特征图通过亲和融合模块提取得到各层面与参考体积在结构上的相似关系， 最后通过全连接层根据所述序列关系与所述相似关系估计得到每 个层面对应的运动参数； b)、 基于a)中估计得到的每个层面对应的运动参数， 对第一部分中三个层面集分别进 行校正， 通过离 散数据估计方法将三个层面 集重建为各向同性的参 考体积； c)、 迭代执行a)和b)若干次， 且每一次迭代前以最新的参考体积更新所述第二部分输 入， 全部迭代完毕后将最 新的每个层面对应的运动参数作为网络 输出； S4、 在实际应用时， 获取针对目标对象采集得到的层面集， 并通过离散数据估计方法得 到各向同性的参考体积， 将目标对象的层面集与参考体积一起作为所述运动参数估计模型 的网络输入， 估计得到层面集中各层面对应的运动参数， 进而基于估计得到的运动参数对 针对目标对象采集得到的层面 集进行重建， 得到目标对象的各向同性的体积。 2.根据权利要求1所述的基于特征关联融合的胎儿大脑磁共振运动校正方法， 其特征 在于， 所述S1中， 对每 个磁共振图像样本进行 预处理获得胎儿大脑体积的方法如下： S11、 对磁共振图像样本中的三个层面集， 使用N4偏差校正进行层面的全局不均匀性校 正； S12、 利用掩模提取S11处理后的每个层面中的胎儿大脑部分， 并进行三维非局部均值 去噪； S13、 将S12处理后的三个层面集分别进行归一化， 再对其进行层间运动校正和超分辨 率重建， 获得满足目标分辨 率的各向同性体积； S14、 将S13重建得到的各向同性体积根据对应胎儿的孕周刚性配准到胎儿大脑时空图 谱上， 并保证配准后的体积中心对齐， 再通过在体积周围区域填充0的方法将所有 数据的体权　利　要　求　书 1/3 页 2 CN 115115803 A 2积大小设置为 一致， 最终得到各向同性的胎儿大脑体积。 3.根据权利要求1所述的基于特征关联融合的胎儿大脑磁共振运动校正方法， 其特征 在于， 所述S2的实现方法如下： S21、 在所述运动参数的预设均匀分布内随机选择一组运动参数作为第1个控制点， 然 后以迭代的方式， 依次从所述运动参数变化量的预设均匀分布内随机选择一组运动参数变 化量并将其叠加至第前一个控制点的运动参数上， 从而一组新的运动参数作为下一个控制 点， 最终形成多个控制点组成的集合； 对集合中的多个控制点进 行平滑拟合得到运动曲线， 并加入一个随机偏移 量以改变运动曲线的均值， 再对偏移后的运动曲线按照所述层面集中 的层面数量进行均匀采样， 得到每一个层面对应的运动参数； 一个层面对应的运动参数包 括三个旋转 参数θ ＝( θx, θy, θz)T和三个平移参数d＝(dx,dy,dz)T； S22、 针对第二数据集中的一个胎儿大脑体积， 利用S21中生成的各层面对应的运动参 数进行欧拉 ‑笛卡尔坐标系中的三维刚性变换， 从而仿真胎 儿大脑在层面集采集过程中的 运动， 并沿胎 儿大脑横断面、 冠状面和矢状面方向分别采样得到的三个受运动影响的层面 集组成一个层面 集样本； S23、 不断重复S21和S2 2， 形成由一系列不同的层面 集样本组成的训练数据。 4.根据权利要求1所述的基于特征关联融合的胎儿大脑磁共振运动校正方法， 其特征 在于， 所述深度学习网络中， 双向循环神经网络由多组GRU 单元对组成， 且GRU 单元对的对 数 与输入的层面集中的层面总数相同； 输入的层面集中每一个层面分别对应有一组由二维卷 积神经网络、 GRU 单元对和全连接层组成的单元模块， 所有层面共享三 维卷积神经网络以及 亲和融合模块； 针对第一部分输入的层面集中的任意一个层面s， 其层面图像通过层面s对应的二维卷 积神经网络后输出二维特征图xs1， 二维特征图xs1通过层面s对应的GRU单元对后得到的输 出特征作为层面s对应的全连接层的第一个输入； 而第二部分输入中的参考体积通过三维 卷积神经网络后输出三维特征图xv1； 同时， 从二维卷积神经网络的卷积过程中提取与三维 特征图xv1的尺寸匹配的中间特征图xs2， 然后将中间特征图xs2和三维特征图xv1分别压平至 二维， 得到特征xs和特征xv， 将特征xs和特征xv通过亲和融合模块提取得到各层 面与参考体 积在结构上的相似关系y： 其中， σs(·)为softmax激活函数， Wg、 Ws和Wv是需要学习的权重矩阵， C为二维特征图xs1 和三维特 征图xv1的通道数； 将相似关系y作为层面s对应的全连接层的第 二个输入， 由全连接层根据两个输入输出 层面s对应的运动参数。 5.根据权利要求1所述的基于特征关联融合的胎儿大脑磁共振运动校正方法， 其特征 在于， 所述深度学习网络的损失函数为： 其中， λ为加权超参数， Rs和ds分别为层面s对应的旋转矩阵真值和平移参数真值， 和权　利　要　求　书 2/3 页 3 CN 115115803 A 3