(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210302838.0 (22)申请日 2022.03.24 (71)申请人 中科微影 （浙江） 医疗科技有限公司 地址 317317 浙江省台州市仙居县白塔镇 仙居县经济开发区白塔 工业集聚区 (72)发明人 刘向军　熊春玲　 (74)专利代理 机构 北京中索 知识产权代理有限 公司 11640 专利代理师 隋晓勇 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于循环深度神经网络的磁共振成像 特征提取方法 (57)摘要 本发明提供一种基于循环深度神经网络的 磁共振成像特征提取方法， 包括以下步骤： 对血 氧水平依赖磁共振成像进行图像重建， 构建图像 数据集， 按照每组包含相同数目的类别图片分成 N组， 选其中一组图像数据作标记； 将标记的一组 图像数据训练循环深度神经网络； 利用训练好的 循环深度神经网络的权重信息自动标记下一组 图像数据； 将筛选修正标记结果后的图像数据加 入到训练集， 直到所有 图像数据训练完毕， 利用 训练完毕的循环深度神经网络对图像重建后的 图像数据进行特征提取， 识别特征区域。 本发明 采用特征融合技术与注意力机制结合构建循环 深度神经网络， 空间域和通道 域嵌入注意力模块 进行图像处理， 大大提高了血氧水平依赖磁共振 成像的识别效率。 权利要求书3页 说明书7页 附图3页 CN 114612654 A 2022.06.10 CN 114612654 A 1.一种基于循环深度神经网络的磁共振成像特征提取方法， 其特征在于， 包括以下步 骤： S1、 基于深度卷积生成式对抗网络DCGAN对血 氧水平依赖磁共 振成像进行图像重建； 所述对血 氧水平依赖磁共 振成像进行图像重建的方法包括以下步骤： S11、 DCGAN的生成器输入随机噪声z， 输出生成图像G(z)， DCGAN的判别器分别真实数据 x和所述生成图像G(z)， 输出D(x)和D [G(z)]； S12、 计算判别器损失函数： 公式(1)中， m表示磁共振成像的批数量， 即每次采用所抽取的样本数量， 计算真实样本 与生成样本的交叉熵， 并计算全部样本交叉熵的平均值作为判别器的损失函数， 用以优化 判别器； S13、 计算 生成的生成器损失函数： 公式(2)中， Gloss表示生成数据经过判别器后， 计算其交叉熵作为生成器的损失函数， 用 以优化生成器； S14、 进行DCGAN的训练， 要求生成器生成接近真实的数据去欺骗判别器， 要求判别器把 生成数据和真实数据区分开， 形成博 弈的过程； S15、 重复S1 1‑S14步骤， 直至DCGAN达 到纳什均衡点D [G(z)]＝0.5； S2、 对图像重建后的磁共振成像构建图像数据集， 并将所述图像数据集按照每组包含 相同数目的类别图片分成N组， 选其中一组图像数据进行 标记； S3、 将S2步骤选的标记后的所述 一组图像数据用于训练构建的循环深度神经网络； 所述构建循环深度神经网络的方法包括以下步骤： S31、 构建 混合注意力模块， 并嵌入循环深度网络结构的ResNet101中； S32、 将特 征金字塔网络FPN应用在Faster  R‑CNN网络结构的ResNets101中； S33、 构建SENet注意力模块， 并将SENet注意力模块嵌入所述S32步骤已经得到的 ResNets101网络结构中， 得到金字塔注意力网络； S34、 重复S31 ‑S33步骤， 采用图像数据集进行训练及参数优化； S4、 利用S3步骤训练好的所述循环深度神经网络的权重信息， 自动标记下一组图像数 据； S5、 筛选修正S4步骤的标记结果， 并将修正标记结果后的图像数据加入到图像数据的 训练集， 进行训练， 重复S2 ‑S4步骤直到所有图像数据训练完毕； S6、 利用S5步骤训练完毕的循环深度神经网络对图像重建后的图像数据进行特征提 取， 识别特 征区域。 2.根据权利要求1所述的基于循环深度神经网络的磁共振成像特征提取方法， 其特征 在于， 所述S5步骤的所有图像数据训练的方法包括以下步骤： S51、 判断是否所有组的图像数据都已经完成训练， 没有则重复S4 ‑S5步骤；权　利　要　求　书 1/3 页 2 CN 114612654 A 2S52、 判断是否需要扩充图像数据集， 如果需要则进一步判断是否增加图像数据的被测 部位的种类， 如果增 加则重复S3 ‑S6步骤； 如果 不需要则结束图像数据训练。 3.根据权利要求1所述的基于循环深度神经网络的磁共振成像特征提取方法， 其特征 在于， 所述循环神经网络包含14层卷积层和2层池化层以及Softmax层， 其中在第4层和第6 层卷积层后面分别设置池化层； 第8层、 第11层和第14层卷积层为特征金字塔， 其特征图的 分辨率分别 为16*16像素、 8*8像素和4*4像素， 所述卷积层为深度可分离卷积， 包含5组3*3 大小的卷积核和1*1大小的卷积核配对实现； 所述池化层为2*2大小的最大池化层； 采用 Softmax层计算相应的病变 类别置信度， 判断病变 类别。 4.根据权利要求1所述的基于循环深度神经网络的磁共振成像特征提取方法， 其特征 在于， 所述S31步骤的所述混合注意力模块的构建方法包括： S311、 设计空间域注意力模块结构； S312、 设计通道域注意力模块结构； S313、 设计 基于FPN的Faster  R‑CNN结构。 5.根据权利要求4所述的基于循环深度神经网络的磁共振成像特征提取方法， 其特征 在于， 所述空间域注意力模块的构建方法包括： 对输入特征图基于通道维度分别进行全局 最大池化和全局平均池化， 基于通道维度进行拼接， 卷积降维， 经过sigmoid激活函数生成 空间域注意力特 征图， 计算公式为： Y＝σ(f7*7(Avgpool(X)； Maxpo ol(X)))          (3)， 式(3)中X表示注意力模块的输入特征 图， Y为输出特征 图， f^(7*7)表示卷积核大小为 7*7的卷积层， σ 为sigmo id激活函数。 6.根据权利要求4所述的基于循环深度神经网络的磁共振成像特征提取方法， 其特征 在于， 所述通道域注意力模块的构建方法包括： 将经过所述空间域注意力模块后的输出特 征图， 经过全局最大池化和全局平均池化， 经过多层感知器， 将多层感知器的输出特征图进 行元素级的加和操作， 经过sigmoid激活函数进行激活， 生成通道域注意力 特征图， 计算公 式为： Y＝σ(MLP(Avgpo ol(X))+MLP(Maxpo ol(X)))    (4)， 式(4)中X表示注意力模块的输入特征图， Y为输出特征图， MLP表示多层感知器， σ为 sigmoid激活函数。 7.根据权利要求4所述的基于循环深度神经网络的磁共振成像特征提取方法， 其特征 在于， 所述设计 基于FPN的Faster  R‑CNN结构的方法包括： 基于3×3大小的滑动 锚框遍历 特征映射图， 生成anchor  boxes与Proposals， 进行目标 候选框预测， 在提取候选框网络RPN训练过程中， 与真实的标注框的交并比IOU 大于0.7的目 标为以病变区域 为目标的正标签， IOU 小于0.3的目标则为以正常区域 为目标的负标签； 其中， 生成Proposals的方法包括： 根据每个Proposals框的面积w ×h大小， 分别将 Proposals框映射到对应的特 征层Pk进进行ROI Pooling特征提取， k 值计算公式如下： 式(5)中k0＝4， w和h为Proposals框的宽和高。 8.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述程序被处理器权　利　要　求　书 2/3 页 3 CN 114612654 A 3