(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210639550.2 (22)申请日 2022.06.08 (71)申请人 皖南医学院第一附属医院 （皖南医 学院弋矶山医院） 地址 241000 安徽省芜湖市赭 山西路2号 (72)发明人 黄东平　韦中玲　蒋艺枝　 (74)专利代理 机构 北京和信华成知识产权代理 事务所(普通 合伙) 11390 专利代理师 黄尧昆 (51)Int.Cl. G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06T 7/62(2017.01)G06T 7/11(2017.01) G06T 7/00(2017.01) (54)发明名称 一种基于骨髓活检图像的造血组织比例确 定方法 (57)摘要 本发明公开了一种基于骨髓活检图像的造 血组织比例确定方法， 包括以下步骤： 步骤S1、 获 取目标对象的一组骨髓活检图像序列， 并在一组 骨髓活检图像序列中选取出常规型骨髓活检图 像， 以及特异型骨髓活检图像； 步骤S2、 在医疗大 数据中获取一组骨髓活检图像样 本， 在所述骨髓 活检图像样 本中标记出造血 组织区域， 基于造血 组织检测框和骨髓活检图像样本进行多旋转角 度的模型训练得到检测框优化模 型。 本发明构建 检测框优化模 型， 可实现在骨髓活检图像中进行 旋转检测可以精确定位图像中的造血组织， 并且 边界框几乎不包含图像中无用背景区域， 从而减 少背景对造血组织识别的影 响， 旋转检测会使 得 预测检测框之间 几乎没有重 叠。 权利要求书3页 说明书8页 附图2页 CN 115170848 A 2022.10.11 CN 115170848 A 1.一种基于骨髓活检图像的造血组织比例确定方法， 其特 征在于， 包括以下步骤： 步骤S1、 获取目标对象的一组骨髓活检 图像序列， 并在一组骨髓活检 图像序列中选取 出表征目标对象造血 组织普遍性状态的常规型骨髓活检图像， 以及选取出表征目标对象造 血组织特异性状态的特异型骨髓活检图像； 步骤S2、 在医疗大数据中获取一组骨髓活检 图像样本， 在所述骨髓活检图像样本中标 记出造血组织区域， 并沿造血组织区域的边界标记得到造血组织检测框， 基于造血组织检 测框和骨髓活检图像样本进行多旋转角度的模型训练得到检测框优化模型， 以使得得到的 造血组织检测框实现旋转匹配骨髓活检图像中处于任意方向的造血组织区域； 步骤S3、 利用所述检测框优化模型对所述常规型骨髓活检图像进行多旋转角度的检测 框优化得到 常规型骨髓活检图像的一组常规型造血组织检测框， 以及利用所述检测框优化 模型对所述特异型骨髓活检图像进行多旋转角度的检测框优化得到特异型骨髓活检图像 的一组特异型造血组织检测框； 步骤S4、 对一组常规型造血组织检测框和一组特异型造血组织检测框进行面积均值化 处理得到常规型造血 组织检测框面积均值和特异型造血组织检测框面积均值， 并基于所述 检测框优化模型的优化误差对常规型造血组织检测框面积均值和特异型造血组织检测框 面积均值进行误差修正得到所述常规型骨髓活检图像的造血组织面积和特异型骨髓活检 图像造血组织面积， 再计算所述常规型骨髓活检图像的造血组织面积和特异型骨髓活检图 像的造血组织面积在常规型骨髓活检图像和特异型骨髓活检图像中的占比得到目标对 象 的造血组织比例区间。 2.根据权利要求1所述的一种基于骨髓活检图像的造血组织比例确定方法， 其特征在 于： 所述在一组骨髓活检图像序列中选取出表征目标对象造血组织普遍性状态的常规型骨 髓活检图像， 以及选取 出表征目标对象造血组织特异性状态的特异型骨髓活检图像， 包括： 将一组骨髓活检图像序列中的所有骨髓活检图像进行Kmeans++聚类得到多个骨髓活 检图像簇， 并统计 每个骨髓活检图像簇中包 含的骨髓活检图像的总数量； 设定区分阈值， 将每个骨髓活检图像簇 中包含的骨髓活检图像的总数量与区分阈值进 行比较， 其中， 若骨髓活检图像的总数量低于区分阈值， 则将对应的骨髓活检图像簇中国的骨髓活检 图像作为特异型骨髓活检图像； 若骨髓活检图像的总数量高于或等于区分阈值， 则将对应的骨髓活检图像簇中的骨髓 活检图像作为常规型骨髓活检图像。 3.根据权利要求2所述的一种基于骨髓活检图像的造血组织比例确定方法， 其特征在 于： 所述基于造血组织检测框和骨髓活检图像样本进 行多旋转角度的模型训练得到检测框 优化模型， 包括： 将每个骨髓活检图像样本依次进行顺时针90度、 180度和270度的旋转得到每个骨髓活 检图像样本的一组多角度图像， 并将 每个骨髓活检图像样本中的造血组织检测框依次进 行 顺时针90度、 180度和270度的旋转得到所述 一组多角度图像匹配的一组多角度检测框； 将所述多角度图像和多角度检测框进行对应构成模型训练的训练样本； 基于RetinaNet框架利用深度卷积神经网络对多角度图像进行图像特征提取， 再利用 NAS–FPN算法对提取的图像特征进行融合得到每个多角度图像的一组具有不同尺度的表征权　利　要　求　书 1/3 页 2 CN 115170848 A 2造血组织的特 征图； 使用OpenCV定义法中五参数定义法来表示预测检测框， 并基于所述特征图使用二进制 编码标记技术得到将多角度检测框回归至与所述特征图相匹配的角度分类模型， 再将所述 角度分类模型基于所述训练样本进行模型训练得到所述检测框优化模型， 所述检测框优化 模型的函数表达式： Upredict＝Model(E)； 式中， Model表征为检测框优化模型标识符， Upredict表征为预测检测框标识符， E表征为 特征图标识符； 所述角度分类模型的损失函数为： Loss＝smooth L1(Upredict‑Utaget)； 式中， Loss表征为角度分类模型的损失函数， smooth  L1表征为smooth  L1损失函数运 算符， Upredict表征为预测检测框， Utaget表征为多角度检测框 。 4.根据权利要求3所述的一种基于骨髓活检图像的造血组织比例确定方法， 其特征在 于： 所述使用OpenCV定义法中五参数定义法来表示预测检测框， 包括： 设定预测检测框的五个表示参数Upredict＝[xpredict,ypredict,wpredict,hpredict, θpredict]， 其 中， xpredict和ypredict为预测检测框的中心坐标， θpredict为预测检测框与x轴间的锐角， wpredict 为预测检测框的宽度， hpredict为预测检测框的高度。 5.根据权利要求4所述的一种基于骨髓活检图像的造血组织比例确定方法， 其特征在 于： 所述基于所述特征图使用二进制编 码标记技术得到将多角度检测框回归至与所述特征 图相匹配的角度分类模型， 包括： 设定角度范围AR， 角度离散粒度d， 初始化编码列表为L， 编码长度为n＝log2(AR/d)， 循 环系数i； 将i由AR的范围初始值开始向AR范围终止值按离散粒度d依次进行步进， 依次对i按编 码长度n进行二进制编码得到binary(i,n)＝binary( ‑round((i‑90°)/d)， 并依次将binary (i,n)存储至编码列表L中， 得到包 含AR中所有二进制编码标签的编码列表L； 利用RetinaNet框架中的评估器获得编码列表L中每个编码位置处的预测概率p， 并将 所有预测概 率p汇集为概率列表B， 初始化 二进制列表C； 将j由概率列表B的初始值开始向概率列表B的终止值进行逐一步进， 依次对j数值转化 得到round(sigmoid(log(j/(1 ‑j))*d， 并依次将round(sigmoid(log(j/(1 ‑j))*d存储至二 进制列表C中， 并对二进制类别C中所有编码位置处编码值组合转换为十进制数D， 再基于十 进制数D计算出θpredict＝90° ‑D*d； 将角度分类模型的损失函数中的θpredict固定， 再基于θpredict固定后的角度分类模型的 损失函数进行模型训练得到所述检测框优化模型； 式中， round为四舍五入运算符， sigmoid为sigmoid算法运算符， binary为二进制编码 运算符。 6.根据权利要求5所述的一种基于骨髓活检图像的造血组织比例确定方法， 其特征在 于： 所述检测框优化模型的优化 误差计算过程， 包括： 统计每个多角度检测框中的造血组织 面积， 并统计 每个多角度图像中造血组织 面积； 基于所述多角度检测框中的造血组织面积和多角度图像中造血组织面积进行优化误权　利　要　求　书 2/3 页 3 CN 115170848 A 3