(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111658226.7 (22)申请日 2021.12.3 0 (71)申请人 四川可示见 科技有限公司 地址 610000 四川省成 都市天府新区海昌 路169号19幢3层315号 (72)发明人 张浩曦　 (74)专利代理 机构 成都顶峰专利事务所(普通 合伙) 51224 代理人 曹源 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G16H 30/20(2018.01) (54)发明名称 一种可解释的人工智能医疗图像语义分割 方法 (57)摘要 本发明公开了一种可解释的人工智能医疗 图像语义分割方法， 包括以下步骤： 获取医疗 图 像训练样 本数据， 并对获取的医疗图像训练样本 数据进行整理， 然后对医疗图像训练样本数据进 行数据集划分， 划分得到测试集和训练集； 根据 获取的医疗图像训练样本数据构造深度训练模 型， 同时测试深度训练模型在测试集上的预测性 能， 得到深度训练模型的预测性能结果， 本发明 通过对医疗图像彩色图及其对应的深度图同时 进行训练与分析， 不仅能够提高语义分割结果的 准确性， 还能够增加语义分割的使用范围， 同时 在进行训练与分析之前， 通过对训练模型进行验 证与解释， 能够预测通过该方法得到的语义分割 结果的准确度， 有利于实际的应用。 权利要求书2页 说明书7页 附图1页 CN 114299291 A 2022.04.08 CN 114299291 A 1.一种可解释的人工智能医疗图像 语义分割方法， 其特 征在于， 包括以下步骤： S1、 获取医疗图像训练样本数据， 并对获取的医疗图像训练样本数据进行整理， 然后对 医疗图像训练样本数据进行 数据集划分， 划分得到测试集和训练集； S2、 根据获取的医疗图像训练样本数据构造深度训练模型， 同时测试深度训练模型在 测试集上的预测性能， 得到深度训练模型的预测性能结果； S3、 将获取的医疗图像训练样本数据输入深度训练模型， 以对深度模型进行训练； S4、 通过SHAP方法对深度训练模型的预测性能结果进行解释， 得到模型解释结果； S5、 获取需要进行语义分割的医疗图像彩色图以及深度图， 然后利用训练后的深度模 型分别对需要进 行语义分割的医疗图像彩色图 以及深度图进 行分析， 同时结合模型解释结 果， 预测医疗图像中每 个像素所属的物体 类别， 形成并输出 预测的图像 语义分割图。 2.根据权利要求1所述的一种可解释的人工智能医疗图像语义分割方法， 其特征在于， 所述步骤S1中， 获取医疗图像训练样本数据具体包括以下步骤： S11、 分别通过摄像头和深度传感器在同一位置对 同一方向的人体局部医疗图像进行 拍摄， 分别得到彩色图及其相对应的深度图， 重复此项操作五次， 得到五组相对应的彩色图 以及深度图； S12、 将得到的彩色图与对应的深度图分别输入至计算机设备， 并通过计算机设备分别 对彩色图以及深度图的每个像素进行标注， 标注其所属类别， 从而获得每组图像的语义分 割标注图； S13、 遍历每组图像的彩色图以及深度图， 并对每组彩色图以及深度图进行去相关处 理， 去除信息的冗余度， 然后根据彩色图、 深度图与真实拍摄环境的差异确定允许失真要 求， 并根据允许失真要求， 对去除信息的冗余度的彩色图以及深度图的原始数字图像进行 信号编码， 得到每组图像的信号编码标注图。 3.根据权利要求2所述的一种可解释的人工智能医疗图像语义分割方法， 其特征在于， 所述步骤S1中， 对医疗图像训练样本数据进行数据集划分的具体操作步骤为： 分别从彩色 图和深度图样本中随机抽取80％作为训练集样本， 其 余的20％均 作为测试集样本 。 4.根据权利要求1所述的一种可解释的人工智能医疗图像语义分割方法， 其特征在于， 所述步骤S2中， 构造深度训练模型 具体包括以下步骤： S201、 建立训练集 xa∈R， 其中{xa， ya}为训练集D中其中一个数集， n为训 练集数集总数， 同时建立初始化样本 权重Dn(a)＝2/n； S202、 在训练集中， 分别对医疗图像训练样本数据按医疗科室进行区域划分： 首先选择 每个区域的初始中心b， 然后对其进行 更新迭代， 样本的权 重根据以下 方式进行 更新迭代： 若一个实例在迭代中被正确分类， 其权 重将乘以可变系数βi： 其中， error(Ma)为每次迭代的训练数据集中错误分类 实例的权重之和， err(xa)为每次 迭代的训练数据集中正确分类实例的权重之和， Dn(a)为初始化样本权重， m为训练集中的权　利　要　求　书 1/2 页 2 CN 114299291 A 2训练样本总数， a为医疗图像训练样本数据中的医疗图像训练样 本总数， 在第i次迭代中， 对 任意一个样本， 求 其到各区域中心b的距离， 将该样本归到距离最短的中心所在的类； S203、 经过对正确自定义区域划分以及更新迭代， 错误分类实例的权重增加， 而正确分 类实例的权重将减少， 当达到最大迭代数时， 训练停止， 得到最终集成的模型： 其中， a为医疗图像训练样本数据中的医疗图像训练样本总数， Dn(a)为初始化样本权 重， (xa， ya)为训练集D中其中一个数集， v为训练次数。 5.根据权利要求1所述的一种可解释的人工智能医疗图像语义分割方法， 其特征在于， 所述步骤S2中， 评估最终模型的预测能力具体包括以下步骤： S211、 将划分的测试集输入构造的深度训练模型内部进行训练， 将测试集内部的数据 分别带入深度训练模型进行训练， 得到模型训练结果； S212、 根据得到的模型训练结果形成并输出测试集样本的图像语义分割图， 同时将其 与实际测试集样本的图像 语义进行对比， 测试深度训练模型在测试集上的预测性能。 6.根据权利要求5所述的一种可解释的人工智能医疗图像语义分割方法， 其特征在于， 所述步骤S3中， 对深度模型进行训练具体包括以下步骤： S31、 向构造的深度训练模型内部依次输入获取的所有医疗图像训练样本数据； S32、 将训练集数据带入深度训练模型内部进行训练， 得到训练集训练结果， 并利用训 练集训练结果与模型训练结果学习出用于进行物体 类别预测的深度训练模型。 7.根据权利要求1所述的一种可解释的人工智能医疗图像语义分割方法， 其特征在于， 所述步骤S4中的通过S HAP方法对深度训练模 型的预测性能结果进 行解释的具体步骤为： 通 过SHAP将解释定义为： 利用 计算出模型解释结果， 其 中g是解释模型， z'∈{0,1}M是联盟向量， M是最大 联盟大小， φj∈R是模型的估计系数。 8.根据权利要求1所述的一种可解释的人工智能医疗图像语义分割方法， 其特征在于， 所述步骤S5中， 预测医疗图像中每 个像素所属的物体 类别具体包括以下步骤： S51、 将获取的医疗图像彩色图及其对应的深度图分别输入训练后的深度模型； S52、 通过深度训练模型对深度图进行分析， 通过长短时记 忆网络对彩色图进行分析； S53、 根据分析 结果以及模型解释结果预测该医疗图像中每 个像素所属的物体 类别。权　利　要　求　书 2/2 页 3 CN 114299291 A 3