(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210399132.0 (22)申请日 2022.04.13 (71)申请人 东北大学 地址 110819 辽宁省沈阳市和平区文化路3 号巷11号 (72)发明人 李一　王骄　 (74)专利代理 机构 沈阳东大知识产权代理有限 公司 21109 专利代理师 李在川 (51)Int.Cl. G06V 40/18(2022.01) G06V 20/62(2022.01) G06V 10/26(2022.01) G06V 10/30(2022.01) G06V 10/762(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G16H 10/60(2018.01) G06F 40/279(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于迁移学习的青光眼多模态智能识 别系统 (57)摘要 本发明公开一种基于迁移学习的青光眼多 模态智能识别系统， 使用迁移学习方法， 针对多 标签和多模态数据集进行青光眼亚型病例的深 度学习模型构建， 包括多模态数据预处理模块、 多模态识别模块； 通过对网络参数的预训练， 极 大减少了训练网络所使用的数据量， 充分利用了 数据的文本信息和图像信息， 多特征综合诊断， 极大提高了青光眼诊断的准确性； 本发明实现了 诊断深入到青光眼的亚型， 突破了传统只能诊断 是否为青光眼的技术手段， 通过基于迁移学习的 青光眼多模态智能诊断网络， 实现自动从训练数 据库中学习诊断青光眼的多 模态特征。 权利要求书2页 说明书8页 附图7页 CN 114724231 A 2022.07.08 CN 114724231 A 1.一种基于迁移学习的青光眼多模态智能识别系统， 其特征在于， 包括多模态数据预 处理模块、 多模态识别模块； 通过多模态数据预 处理模块对文本信息进 行提取、 对图像数据 进行预处理， 得到青光眼数据集； 通过多模态识别模块针对多标签和多模态的数据集构建 基于迁移学习方法的青光眼亚型病例识别模型。 2.根据权利要求1所述的一种基于迁移学习的青光眼多模态智能识别系统， 其特征在 于， 所述多模态数据预处理模块包括关键字提取模块、 高斯滤波模块、 图像增强模块、 图像 裁剪模块； 所述关键字提取模块使用深度学习的方法提取数据库电子病历中的青光眼病症 关键文字； 所述滤波模块用于对图像数据进行高斯滤波处理； 所述图像增强模块使用图像 增强方法扩大训练样本以避免过拟合； 所述裁剪模块基于卷积神经网络针对原始图像进 行 视杯盘周围1.5倍方格 像素裁剪。 3.根据权利要求1所述的一种基于迁移学习的青光眼多模态智能识别系统， 其特征在 于， 所述多模态识别模块包括三个分支： 第一个分支为输入经预处理模块处理后的患者电 子病志的文本信息， 经卷积层、 循环层和长短时记忆神经网络处理后得到青光眼关键字的 特征矩阵， 并将输出与Catboost分类器相接； 第二个分支基于U ‑Net网络构建， 用于对眼底 照片图像中的血管进行分割， 输出青光眼血管分布特征， 对眼底照片 中的青光眼视盘和视 杯进行分割， 输出视盘和视杯的面积之比， 并将 输出与Catboost分类器相接； 第三个 分支基 于输入预 处理后的数据集， 通过深度学习网络捕获海德堡光学相干断层扫描图像和视神经 纤维层厚度图像的全局、 局部特征， 进 行模型参数训练， 随后使用梯度加权类激活映射方法 标定青光眼识别过程中神经网络关注 区域； 第一个分支与第二个分支的输出端进行融合， 融合后连接Catboost分类器， Catboost分类器的输出端与第三个 分支中的输出端进行多模 态信息融合， 输出 可解释性的视 觉分析和青光眼病型。 4.根据权利要求3所述的一种基于迁移学习的青光眼多模态智能识别系统， 其特征在 于， 所述第三个分支中的深度学习网络包括ResNet、 GoogLeNet、 DenseNet、 ShuffleNet、 EfficientNet和Vision  Transformer， 将预处理后的 图像数据分别输入深度学习网络中进 行模型参数训练， 根据训练样本准确率， 选择出准确率最高的深度学习网络， 作为与 Catboost分类器的输出端 进行融合的深度学习网络 。 5.根据权利要求1～4任意一项所述的基于迁移学习的青光眼多模态智能识别系统， 其 特征在于， 所述系统执 行过程包括： 步骤1： 采集青光眼原始电子病志与医学影像数据， 标注数据标签为正常、 原发性开角 型青光眼、 原发性闭角型青光眼、 正常眼压型青光眼， 构建原 始青光眼多模态数据集； 步骤2： 将原始青光眼多模态数据集输入数据 预处理模块进行预处理， 生成用于神经网 络训练的青光眼数据集； 步骤3： 输入预处理后的数据集对多模态识别模块进行参数训练， 得到基于青光眼分类 的多模态 识别模块； 步骤4： 将需要进行青光眼亚型分类的患者数据输入到已经训练好的多模态识别模块 中， 进行青光眼识别。 6.根据权利要求5所述的基于迁移学习的青光眼多模态智能识别系统， 其特征在于， 所 述步骤2包括： 步骤2.1： 基于卷积神经网络， 针对患者电子病志中青光眼亚型的文字信息进行提取，权　利　要　求　书 1/2 页 2 CN 114724231 A 2提取的信息包括该人体的年龄、 性别、 主诉、 现病史、 既往史、 视力、 眼压、 各项专科检查以及 诊断的关键词汇， 用来作为多模态 识别模块第一个分支的输入； 步骤2.2： 将眼底照片裁剪成以视盘为中心的572 ×572图像， 将海德堡光学相干断层扫 描图像和视神经纤维层厚度图像裁 剪成以视盘为中心的2 24×224图像； 步骤2.3： 对数据进行数据增强， 包括垂直和水平镜像、 90 °、 180°和270°旋转， 以及用固 定尺寸的图框在原有分辨 率上进行滑窗分割， 得到扩增后的数据集； 步骤2.4： 对数据进行高斯滤波以平衡对图像噪声的抑制和对图像的模糊， 输入为扩增 后的数据集， 输出为滤波器窗口内的像素的均值； 步骤2.5： 使用极大极小标准化方法， 对图像进行标准化处理， 经过数据标准化处理后， 各指标处于同一数量级。 7.根据权利要求5所述的基于迁移学习的青光眼多模态智能识别系统， 其特征在于， 步 骤3包括： 将预处理后的文字信息输入到多模态识别模块的第一个分支， 通过K ‑Means算法对青 光眼患者的电子病志中的词语进行聚类； 第二个分支采用深度学习模型U ‑Net， 输入眼底照片进行视神经血管分割， 输出青光眼 血管分布特征， 输入三维 眼底照片进行视杯与视盘分割， 输出视神经血管分布特征和杯盘 比； 第一个分支和第二个分支的输出融合在一起作为元数据， 并使用Catboost分类器处 理； 第三个分支将训练集中的海德堡光学相干断层扫描图像和视神经纤维层厚度图像同 时输入到深度学习网络模型中， 利用迁移学习方法对构建的神经网络进行参数预训练， 并 使用梯度加权类激活映射方法标定青光眼识别过程中神经网络重点关注区域， 随后与 Catboost分类器的输出端融合， 得到青光眼亚型的综合诊断结果。 8.根据权利要求7所述的基于迁移学习的青光眼多模态智能识别系统， 其特征在于， 所 述通过K‑Means算法对青光眼患者的电子病志中的词语进行聚类， 包括： 使用青光 眼关键词语料库进行Word2vec模型训练， 输入为语料库数据， 输出为青光眼 病型； 对于患者电子病志中的文本进行分词、 词性标注、 去重和去 除停用词的数据预处理操 作， 最终得到n个候选关键词； 遍历候选关键词， 从词向量文件中抽取候选关键词的词向量表示； 对候选关键词进行 K‑Means聚类， 得到各个 类别的聚类中心； 计算各类别下组内词语与聚类中心的欧几里 得距离， 按聚类大小 进行升序排序； 对候选关键词计算结果得到排名前N个词汇作为诊断青光眼的文本关键词。权　利　要　求　书 2/2 页 3 CN 114724231 A 3