(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210536913.X (22)申请日 2022.05.17 (71)申请人 合肥工业大 学 地址 230009 安徽省合肥市包河区屯溪路 193号 (72)发明人 柯水洲　王浩　丁帅　朱源波　 杨宇轩　 (74)专利代理 机构 北京久诚知识产权代理事务 所(特殊普通 合伙) 11542 专利代理师 余罡 (51)Int.Cl. G16H 15/00(2018.01) G06F 40/242(2020.01) G06V 10/40(2022.01) G06V 10/764(2022.01)G06V 10/22(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01) (54)发明名称 多分支特征融合的内窥镜检查报告智能生 成方法和系统 (57)摘要 本发明提供一种多分支特征融合的内窥镜 检查报告智能生成方法和系统， 涉及图像处理技 术领域。 本发 明首先获取并预处理待生成报告的 内窥镜数据， 获取内窥镜报告词典； 然后从场景 级、 类别级和区域级三个分支提取所述内窥镜数 据的场景级的特征、 类别级特征和区域级特征； 最后融合所述场景级的特征、 类别级特征和区域 级特征， 结合所述内窥镜报告词典， 生成内窥镜 检查报告。 本发 明实施例内窥镜检查报告生成任 务分为三个分支， 从内窥镜数据的不同维度采用 相对应的人工智能方法实现特征提取， 进而进行 特征融合实现内窥镜检查报告生成， 相对于现有 的方法， 本发明生成的内窥镜检查报告更为精 确。 权利要求书2页 说明书7页 附图2页 CN 115050444 A 2022.09.13 CN 115050444 A 1.一种多分支特 征融合的内窥镜检查报告智能生成方法， 其特 征在于， 所述方法包括： S1、 获取并预处 理待生成报告的内窥镜数据， 获取内窥镜报告词典； S2、 从场景级、 类别级和区域级三个分支提取所述内窥镜数据的场景级的特征、 类别级 特征和区域级特 征； S3、 融合所述场景级的特征、 类别级特征和区域级特征， 结合所述内窥镜报告词典， 生 成内窥镜检查报告。 2.如权利要求1所述的多分支特征融合的内窥镜检查报告智能生成方法， 其特征在于， 所述从场景级、 类别级和区域级三个分支提取所述内窥镜数据的场景级的特征、 类别级特 征和区域级特 征， 包括： S201、 将预处理后的所述内窥镜数据输入到预先训练的场景级模型中， 得到场景级特 征； S202、 将预处理后的所述内窥镜数据输入到预先训练的类别级模型中， 得到类别级特 征； S203、 将预处理后的所述内窥镜数据输入到预先训练的区域级模型中， 得到区域级特 征。 3.如权利要求2所述的多分支特征融合的内窥镜检查报告智能生成方法， 其特征在于， 所述预先训练的场景级模型的构建过程包括： 使用的Ima geNet数据集中 内窥镜数据训练ResNet101网络， 得到场景级模型。 4.如权利要求2所述的多分支特征融合的内窥镜检查报告智能生成方法， 其特征在于， 所述预先训练的类别级模型的构建过程包括： 使用ResNext101、 DenseNet101和Vgg16分别在内窥镜图像数据数据进行分类训练， 得 到内窥镜 部位的类别级模型。 5.如权利要求2所述的多分支特征融合的内窥镜检查报告智能生成方法， 其特征在于， 所述预先训练的区域级模型的构建过程包括： 使用Faster ‑RCNN目标检测网络在EDD2020数据集上进行目标检测训练， 得到区域级模 型。 6.如权利要求5所述的多分支特征融合的内窥镜检查报告智能生成方法， 其特征在于， 所述将预处理后的所述内窥镜数据输入到预先训练的区域级模型中， 得到区域级特征， 包 括： 将预处理后的所述内窥镜数据输入到预先训练的区域级模型中， 得到区域级特征 其中， k代表选取的关键区域数量， 通过拼接和线 形操作获取最终的区域级特 征R。 7.如权利要求1所述的多分支特征融合的内窥镜检查报告智能生成方法， 其特征在于， 所述融合所述场景级的特征、 类别级 特征和区域级 特征， 结合所述内窥镜报告词典， 生 成内 窥镜检查报告， 包括： S301、 通过对不同分支的场景级的特征、 类别级特征和区域级特征的融合， 得到融合整 体场景级特 征、 类别级特 征和关键区域级特 征的图像向量表示。 S302、 将上一阶段融合所获取的特征输入Transformer网络结构， 经过Encoder编码层权　利　要　求　书 1/2 页 2 CN 115050444 A 2将图像特征编码成向量， 结合所述内窥镜报告词典， 经过解码层、 线性层与Softmax函数将 编码特征解码成文字输出， 将上一次输出 的文字作为下一 阶段的输入， 通过每次输出一个 文字的方式循环往复获得内窥镜检查报告。 8.一种多分支特 征融合的内窥镜检查报告智能生成系统， 其特 征在于， 所述系统包括： 数据获取模块， 用于获取并预处理待生成报告的内窥镜数据， 还用于获取内窥镜报告 词典； 特征提取模块， 用于从场景级、 类别级和区域级三个分支提取所述内窥镜数据的场景 级的特征、 类别级特 征和区域级特 征； 报告生成模块， 用于 融合所述场景级的特征、 类别级特征和区域级特征， 结合所述内窥 镜报告词典， 生成内窥镜检查报告。 9.一种计算机可读存储介质， 其特征在于， 其存储用于多分支特征融合的内窥镜检查 报告智能生成的计算机程序， 其中， 所述计算机程序使得计算机执行如权利要求1～7任一 所述的多分支特 征融合的内窥镜检查报告智能生成方法。 10.一种电子设备， 其特 征在于， 包括： 一个或多个处 理器； 存储器； 以及 一个或多个程序， 其中所述一个或多个程序被存储在所述存储器中， 并且被配置成由 所述一个或多个处理器执行， 所述程序包括用于执行如权利要求 1～7任一所述的多分支特 征融合的内窥镜检查报告智能生成方法。权　利　要　求　书 2/2 页 3 CN 115050444 A 3