(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211276172.2 (22)申请日 2022.10.19 (71)申请人 之江实验室 地址 311121 浙江省杭州市余杭区之江实 验室南湖总部 (72)发明人 张瑜　孙超良　王志超　张欢　 钱浩天　蒋田仔　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 刘静 (51)Int.Cl. G06T 7/00(2017.01) A61B 5/055(2006.01) A61B 5/00(2006.01) G06V 10/82(2022.01) (54)发明名称 基于多模态磁共振成像的图卷积神经网络 疾病预测系统 (57)摘要 本发明公开了一种基于多模态磁共振成像 的图卷积神经网络疾病预测系统,从多模态的磁 共振数据中提取多个脑区跨模态下的影像组学 信息作为节 点的特征， 提取脑区间的连接组学信 息构成邻接矩阵。 T1加权 结构像通过皮层重建来 进行皮层信息提取， 静息态磁共振 数据用于计算 低频振幅， 局部一致性以及功能连接。 通过多模 态数据预处理、 影像指标提取和结构化数据整 合， 将多模态的非结构化磁共振影像数据整合成 统一的图结构数据， 用图卷积神经网络的方法对 疾病进行预测。 以本发明计算得到的多模态特征 进行疾病预测， 可以更好地融合多个脑区跨模态 的生理学指标以及脑区之间的相关性并提高模 型的预测能力和模型在不同疾病下的泛化能力。 权利要求书2页 说明书6页 附图2页 CN 115359045 A 2022.11.18 CN 115359045 A 1.一种基于多模态磁共振成像的图卷积神经网络疾病预测系统， 其特征在于， 该系统 包括如下模块： 多模态磁共振数据获取模块， 用于根据脑图谱提取多模态磁共振数据中的信息， 包括 结构像、 静息态磁共 振数据和扩散磁共 振数据； 数据预处 理模块， 用于对结构像、 静息态磁共 振数据和扩散磁共 振数据进行 预处理； 脑影像组学信 息提取模块， 用于根据 数据预处理模块处理后的结构像计算不同脑区的 皮层体积、 厚度和表面积信息； 根据数据预处理模块处理后的静息态磁共振数据计算不同 脑区的低频振幅和局部一致性信息； 根据数据预 处理模块处理后的扩散磁共振数据计算不 同脑区的各向异性分数、 平均弥散系数、 细胞内体积分数和方向扩散分数信息； 脑连接组学信 息提取模块， 用于根据 数据预处理模块处理后的静息态磁共振数据计算 得到每个被试的功能连接矩阵； 根据数据预处理模块处理后的扩散磁共振 数据计算得到每 个被试的结构连接矩阵； 脑图结构构建模块， 用于将脑连接组学信 息提取模块得到的功能连接矩阵和结构连接 矩阵相乘得到邻接矩阵， 作为脑图结构的边集， 将脑图谱的各个脑区作为节点集， 其中包含 对应脑区的脑影 像组学信息， 由边 集和节点 集构建得到脑图结构； 图卷积神经网络模型构建模块， 用于构建图卷积神经网络模型， 以脑图结构数据作为 模型输入， 以被试所在的组别为标签作为模型输出， 对图卷积神经网络模型进 行训练， 通过 训练后的图卷积神经网络模型 预测脑疾病。 2.根据权利要求1所述的基于多模态磁共振成像的图卷积神经网络疾病预测系统， 其 特征在于， 所述数据预处理模块预 处理过程具体为对结构 像去脑壳， 只保留脑组织结构； 对 静息态磁共振数据进行头动矫正与时间矫正； 对扩散磁共振数据进行去 噪、 头动矫正和涡 流矫正。 3.根据权利要求2所述的基于多模态磁共振成像的图卷积神经网络疾病预测系统， 其 特征在于， 所述脑影像组学信息提取模块对脑组织结构的结构像进行灰白质分割； 对灰白 质分割后的结构像进行 空间标准化， 将其映射到统一的脑表 面模板fsav erage上， 并根据给 定的脑图谱分为不同脑区； 最后通过freesurfer软件进行皮层重构得到不同脑区的皮层体 积、 厚度和表面积信息 。 4.根据权利要求2所述的基于多模态磁共振成像的图卷积神经网络疾病预测系统， 其 特征在于， 所述脑影像组学信息提取模块对矫正后的静息态磁共振数据进行空间标准化， 将其线性配准到结构像以及 非线性配准到统一的脑体积模板MNI152NLinin2009cAsym上； 对配准后的静息态磁共振数据进 行去噪、 带通滤波、 回归协变量和空间平滑操作， 并计算得 到不同脑区的低频振幅ALFF和局部一致性ReHo值信息； 其中， 低频振幅ALFF的频率0.01Hz ‑ 0.1Hz之间， 局部一 致性ReHo值要在空间平 滑前计算。 5.根据权利要求2所述的基于多模态磁共振成像的图卷积神经网络疾病预测系统， 其 特征在于， 所述脑影像组学信息提取模块对去噪和校正后的扩散磁共振数据进行反向的空 间标准化， 将标准脑模板MNI152NLinin2009cAsym非线性配准到每个被试的结构像上， 进而 线性配准到每个被试的扩散像个体空间， 并将脑图谱也根据相同的映射配准到每个被试的 扩散像空间； 对进行反向的空间标准化后的扩散磁共振数据进行弥散张量成像DTI模型拟 合， 计算各个脑区的各向异性分数FA和平均弥散系数MD值； 最后对扩散磁共振数据进行神权　利　要　求　书 1/2 页 2 CN 115359045 A 2经突定向弥散和密度成像模型NODDI拟合， 计算各个脑区的细胞内体积分数ICVF和方向扩 散分数ODI 值。 6.根据权利要求1所述的基于多模态磁共振成像的图卷积神经网络疾病预测系统， 其 特征在于， 所述脑连接组学信息提取模块用于从预 处理后的静息态磁共振 数据中提取基于 标准脑图谱的每个脑 区的平均时间序列； 计算脑 区间时间序列的皮尔逊相关系数， 得到各 个脑区之 间的皮尔逊相关系数矩阵； 对皮尔逊相关系数矩阵进 行费希尔Z变换， 得到每个被 试的功能连接矩阵。 7.根据权利要求5所述的基于多模态磁共振成像的图卷积神经网络疾病预测系统， 其 特征在于， 所述脑连接组学信息提取模块用于对预 处理后的扩散磁共振数据进行响应函数 的估计以及通过球面约束反卷积重 建纤维方向分布模型， 并基于重 建的模型进行全脑纤维 追踪； 基于配准到扩散像空间的脑图谱对纤维追踪的结果做筛选和归一化， 得到每个被试 的结构连接矩阵。 8.根据权利要求1所述的基于多模态磁共振成像的图卷积神经网络疾病预测系统， 其 特征在于， 所述脑图结构构建模块用于以脑图谱的各个脑 区作为节点， 对得到各个脑 区的 多模态信息构建特征向量， 包括结构像上提取 的不同脑 区的皮层体积、 厚度和表面积的大 脑结构指标， 静息态磁共振 数据上计算得到不同脑区的低频振幅ALFF和局部一致性 ReHo值 的大脑功能指标， 扩散磁共振 数据计算得到各个脑区的各向异 性分数FA、 平均弥散系数MD、 细胞内体积分数ICVF和方向扩散分数ODI值的大脑扩散指标； 将归一化后的功能连接矩阵 和结构连接矩阵相乘， 作为邻接矩阵； 基于邻接矩阵构建脑图结构数据G(V,  E)， 其中节点 集V由脑图谱中提取的脑区构成， 边 集E由相乘得到的邻接矩阵构成。 9.根据权利要求1所述的基于多模态磁共振成像的图卷积神经网络疾病预测系统， 其 特征在于， 所述图卷积神经网络模型构建模块用于构建图卷积神经网络模型； 图卷积神经 网络模型包括两层图卷积神经网络GCN层， 其中滤波器使用切比雪夫Chebyshev卷积核， 阶 数使用3阶， 损失函数采用交叉熵函数； 以构建的脑图结构数据的多模态磁共振 数据作为图 卷积神经网络模型的输入， 以被试所在的组别为标签， 作为图卷积神经网络模型的输出， 利 用反向传播 技术进行图卷积神经网络模型训练。权　利　要　求　书 2/2 页 3 CN 115359045 A 3