(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211116415.6 (22)申请日 2022.09.14 (66)本国优先权数据 202210746261.2 202 2.06.29 CN (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 余成进　石润州　王付言　蒲彩玲　 胡红杰　宁高宁　刘华锋　 (74)专利代理 机构 杭州中成专利事务所有限公 司 33212 专利代理师 李亦慈　唐银益 (51)Int.Cl. A61B 5/055(2006.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06T 5/50(2006.01) G06T 7/00(2017.01) G06T 7/11(2017.01) (54)发明名称 一种基于深度学习从心脏磁共振图像序列 中直接划定心肌梗死区域的方法及装置 (57)摘要 本发明公开了一种基于深度学习从心脏磁 共振图像序列中直接划定心肌梗死区域的方法 及装置， 结合深度学习， 即通过U ‑Net结构进行心 肌分割， 融合运动特征与像素特征， 最后通过 ConvLSTM结构来学习特征， 得到心肌梗死范围。 此方法普适性强， 对同一患者不同心肌截面均可 工作， 具有较高的准确率和分割精度， 计算要求 低， 时间效率高， 并且不需要造影剂， 可以广泛用 于临床， 是一种高准确率的无造影剂心肌梗 死区 域分割技术， 可以避免钆造影剂 对人体脏器的伤 害， 尤其适用于肾病患者， 无需复杂的建模和数 学计算， 节省了时间， 且具有更好的普适性和实 用性。 权利要求书2页 说明书9页 附图3页 CN 115349845 A 2022.11.18 CN 115349845 A 1.一种基于深度学习从心脏磁共振图像序列中直接划定心肌梗死区域的方法， 其特征 在于， 包括： 获得心脏核磁共振电影序列， 通过U ‑Net模型分割心脏核磁共振成像(CMRI)电影序列 中每一帧的心肌内膜与心肌 外膜； 将分割好的每一帧的心肌内膜与心肌外膜二值化， 得到心肌边界， 提取每一帧的运动 特征与像素 特征， 将其拼接融合， 存 入二维的特 征矩阵中； 标注二维的特征矩阵中对应序列的有钆造影剂的LGE图片的梗死区域， 转化成1 ×120 的向量作为心肌梗死区域标签； 基于获得的二维特征矩阵和对应的心肌梗死 区域标签， 构 建以ConvLSTM为核心的神经 网络模型， 所述的以ConvLSTM为核心的神经网络模型包括ConvLSTM层、 卷积层、 展开层、 全 连接层； 以ConvLSTM为核心的神经网络模型中训练时， 将模型输出的1 ×120的向量与真实心肌 梗死区域标签进行对比， 并使用二元交叉熵 “binary_cros sentropy”作为损失函数； 使用“Adam”优化器对网络进行迭代训练， 优化网络参数， 当训练结束时， 在测试集上检 测精度， 保存准确率 最高的模型。 2.根据权利要求1所述的基于深度 学习从心脏磁共振图像序列中直接划定心肌梗死区 域的方法， 其特 征在于， 所述的提取每一帧的运动特 征具体为： 提取心肌外膜边界的中点为整张图的中心点， 以3度的角度间隔从中心点向外做射线， 取其与心肌内膜和心肌外膜边界的交点， 得到120个方向的内外膜交点坐标； 所提取的运动 特征为： 1)内膜交点与图中心点x轴的坐标差值x1， y轴坐标差值y1， 距离 2)外膜交点与图中心点x轴坐标差值x2， y轴坐标差值y2， 距离 3)内外膜之间的交点x轴坐标差值x3， y轴坐标差值y3， 距离 4)内膜交点与其逆时针相邻点x轴坐标差值x4， y轴坐标差值y4， 距离 5)外膜交点与其逆时针相邻点x轴坐标差值x5， y轴坐标差值y5， 距离 通过U‑Net模型分割心肌内膜与心肌外膜， 对心肌进行运动特征和灰度特征信息的提 取， 以ConvLSTM为核心的神经网络的搭建， 神经网络的训练与心肌梗死区域的呈现技 术。 3.根据权利要求1所述的基于深度 学习从心脏磁共振图像序列中直接划定心肌梗死区 域的方法， 其特征在于， 所述的提取每一帧的像素特征具体为： 取内外膜与外膜对应角度的 点， 取其中点O， 将点O周围25个的像素矩阵取 出。 4.根据权利要求1所述的基于深度 学习从心脏磁共振图像序列中直接划定心肌梗死区 域的方法， 其特征在于， 所述的拼接融合为将心肌像素特征展开成一 维向量， 拼接到心肌运 动特征下面。 5.根据权利要求1或2或3或4所述的基于深度学习从心脏磁共振图像序列中直接划定 心肌梗死区域的方法， 基于深度学习从心脏磁共振图像序列中直接划定心肌梗死区域的方权　利　要　求　书 1/2 页 2 CN 115349845 A 2法， 其特征在于， 所述的标注二 维的特征矩阵中对应序列的有钆造影剂的LGE图片的梗死区 域， 转化成1×120的向量作为心肌梗死区域标签具体为： 先在医生指导下在LGE图片上标记 出像素级心肌梗死范围， 之后以外膜中心点为中心， 3度的角度间隔向外做射线， 将心肌等 角度分成了120份， 将像素级心肌梗死范围， 对应到被等分成120份的每一份心肌中是否有 心肌梗死， 无梗死标记 为0， 有梗 死标记为1， 从而转化 成1×120的向量作为心肌梗死区域标 签。 6.根据权利要求5所述的基于深度 学习从心脏磁共振图像序列中直接划定心肌梗死区 域的方法， 其特征在于， 所述的以ConvLSTM为核心的神经网络模型的输入是提取的特征矩 阵， 模型的输出为1 ×120的向量。 7.根据权利要求6所述的基于深度 学习从心脏磁共振图像序列中直接划定心肌梗死区 域的方法， 其特征在于， 从ConvLSTM为核心的神经网络中输出120维的向量， 每个维度的值 在0和1之间， 0代 表没有梗死， 1代 表梗死。 8.根据权利要求1或2或3或4或6或7所述的基于深度学习从心脏磁共振图像序列中直 接划定心肌梗死区域的方法， 其特征在于， 对心脏核磁共振成像电影序列进行预处理后再 使用U‑Net模型分割心肌内膜和心肌外膜， 所述的预处理为通过训练Y OLO‑v4得到心脏区域 坐标， 之后按坐标截取图片， 再将图片旋转摆正。 9.根据权利要求8所述的基于深度 学习从心脏磁共振图像序列中直接划定心肌梗死区 域的方法， 其特征在于， 所述的预 处理具体为： 先 处理图片的大小， 截 出感兴趣的区域， 记录 其四个顶 点的坐标值作为训练集， 输入YOLO ‑v4模型中， 训练完成后， 学习到心脏区域特征， 之后对于每一张原始图片， 其 都能给出感兴趣区域四个顶点坐标， 按照这个坐标截取图片， 再将图片旋转摆正， 使左心室与右 心室在图片上处于同一水平线， 预处 理部分完成。 10.一种基于深度学习从心脏磁共振 图像序列中直接划定心肌梗死区域的装置， 其特 征在于， 包括： 分割单元： 获得心脏核磁共振电影序列， 通过U ‑Net模型分割心脏核磁共振成像(CMRI) 电影序列中每一帧的心肌内膜与心肌 外膜； 提取特征单元： 将分割好的每一帧的心肌内膜与心肌外膜二值化， 得到心肌边界， 提取 每一帧的运动特 征与像素 特征， 将其拼接融合， 存 入二维的特 征矩阵中； 标注标签单元： 标注二维的特征矩阵中对应序列的有钆造影剂的LGE图片的梗死区域， 转化成1×120的向量作为心肌梗死区域标签； 构建神经网络模型单元： 基于获得的二维特征矩阵和对应的心肌梗死区域标签， 构建 以ConvLSTM为核心的神经网络模型， 所述的以ConvLSTM为核心的神经网络模型包括 ConvLSTM层、 卷积层、 展开层、 全连接层； 训练单元： 以ConvLSTM为核心的神经网络模型中训练时， 将模型输出的1 ×120的向量 与真实心肌梗死区域标签进行对比， 并使用二元交叉熵 “binary_crossentropy ”作为损失 函数； 优化单元： 使用 “Adam”优化器对网络进行迭代训练， 优化网络参数， 当训练结束时， 在 测试集上检测精度， 保存准确率 最高的模型。权　利　要　求　书 2/2 页 3 CN 115349845 A 3