(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210995868.4 (22)申请日 2022.08.18 (71)申请人 北京知见生命科技有限公司 地址 100089 北京市海淀区翠微中里14 号 楼三层A876 申请人 重庆知见生命科技有限公司 　 中国医学 科学院北京协和医院 (72)发明人 张雪媛　任菲　陈丽萌　杜保林　 夏鹏　文煜冰　秦岩　王传鹏　 赵雪松　 (74)专利代理 机构 广州广典知识产权代理事务 所(普通合伙) 44365 专利代理师 万志香　王东平 (51)Int.Cl. G06V 10/764(2022.01)G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/26(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 免疫荧光图像分类方法及装置、 设备、 存储 介质 (57)摘要 本发明属于医学图像处理技术领域， 公开了 一种免疫荧光图像分类方法及装置、 设备、 存储 介质， 通过应用层级式的自注意力机制， 对注意 力特征图多次重复执行下采样和特征提取操作， 随着每一次下采样， 不断缩小特征图的宽和高， 增加特征图的通道数， 同时网络的感受野不断扩 大， 从关注图像的局部区域逐渐过渡到关注图像 的全局区域， 最后采用最后一次下采样和特征提 取后的特征图， 作为分类输入的目标分类图像， 进行类别判断获得分类结果， 因此能够获取免疫 荧光图像的多尺度特征信息， 从而能够适应肾小 球免疫荧光图像的多分辨率问题， 进而提高分类 准确率。 权利要求书2页 说明书9页 附图4页 CN 115393641 A 2022.11.25 CN 115393641 A 1.免疫荧 光图像分类方法， 其特 征在于， 包括： 获取待测免疫荧 光图像； 将所述待测免疫荧光图像输入到卷积层中， 利用所述卷积层对所述待测免疫荧光图像 进行卷积操作， 获得指定维度的映射特 征图； 将所述映射特征图输入到区域自注意力网络 中， 利用所述 区域自注意力网络对所述映 射特征图进行 特征提取， 获得注意力特 征图； 对所述注意力特征图重复执行以下步骤， 直至重复次数达到指定次数： 对所述注意力 特征图进行下采样操作， 获得下采样特征图； 将所述下采样特征图输入到所述区域自注意 力网络中， 利用所述区域自注意力网络对所述下采样特征图进行特征提取， 获得新的注意 力特征图； 将重复次数累加一； 当所述重复次数达到指定次数时， 将最终获得的新的注意力特征图作为目标分类图 像； 对所述目标分类图像进行分类， 获得 所述待测免疫荧 光图像的分类结果。 2.如权利要求1所述的免疫荧光图像分类方法， 其特征在于， 所述获取待测免疫荧光图 像， 包括： 对原始免疫荧 光图像进行 预处理， 获得预处理免疫荧 光图像； 将预处理免疫荧 光图像输入至分割模型， 获得掩码图像； 将所述掩码图像与所述预处 理免疫荧 光图像进行融合处 理， 获得待测免疫荧 光图像。 3.如权利要求2所述的免疫荧光图像分类方法， 其特征在于， 所述将所述掩码图像与 所 述预处理免疫荧 光图像进行融合处 理， 获得待测免疫荧 光图像之后， 所述方法还 包括： 根据所述待测免疫荧光图像的尺寸， 确定相对应的指定次数； 其中， 所述指定次数与所 述待测免疫荧 光图像的尺寸 为正相关关系。 4.如权利要求1至3任一项所述的免疫荧光图像分类方法， 其特征在于， 所述区域自注 意力网络包括依次连接的至少两个区域自注意力模块， 每个所述区域自注意力模块包括依 次连接的第一归一化层、 第一残差连接模块、 第二归一化层、 多层感知机层和 第二残差连接 模块， 其中所述第一残差连接模块的两个输入端分别连接于所述第一归一化层的输入端和 所述区域自注意力 层的输出端， 所述第二残差连接模块的两个输入端分别连接于所述第二 归一化层的输入端和所述多层感知机层的输出端。 5.如权利要求4所述的免疫荧光图像分类方法， 其特征在于， 所述第 一归一化层的输出 端与所述区域自注意力 层的输入端之 间还设置有区域划分模块， 所述区域自注意力层的输 出端与所述第一残差连接模块的输入端之间还设有区域还原模块。 6.如权利要求5所述的免疫荧光图像分类方法， 其特征在于， 将所述下采样特征图输入 到所述区域自注意力网络中， 利用所述区域自注意力网络对所述下采样特征图进 行特征提 取获得新的注意力特 征图， 包括： 将下采样特 征图作为输入特 征图， 输入第一个区域自注意力模块中； 在每个所述区域自注意力模块中， 通过所述第 一归一化层对所述输入特征图进行归一 化处理获得相同维度的第一特 征图； 利用所述 区域划分模块对所述第 一特征图进行区域划分， 得到指定区域大小的第 二特 征图；权　利　要　求　书 1/2 页 2 CN 115393641 A 2将所述第二特征图输入至所述 区域自注意力层， 利用所述 区域自注意力层在划分的区 域内部计算自注意力， 得到与第二特 征图相同维度的第三特 征图； 利用所述区域还原模块对所述第三特 征图进行区域还原， 得到第四特 征图； 通过所述第一残差连接模块对所述第四特征图与所述第一归一化层输入的所述输入 特征图进行残差连接， 获得第五特 征图； 通过所述第二归一化层对所述第五特征图进行归一化处理后输入到多层感知机层中 得到与所述第五特 征图相同维度的第六 特征图； 通过所述第二残差连接模块对所述第六特征图和所述第五特征图进行残差连接后作 为该区域自注意力模块的输出， 并作为新的输入特征图输入到下一个区域自注意力模块 中， 执行与该区域自注意力模块中相同的操作； 将最后一个区域自注意力模块的输出作为 新的注意力特 征图。 7.如权利要求6所述的免疫荧光图像分类方法， 其特征在于， 对所述注意力特征图进行 下采样操作获得 下采样特 征图， 包括： 将所述注意力特 征图展开 为96*96*128的待选特 征图； 分别在所述待选特征图的第 一维度和第二维度 上、 以间隔为2地选取元素， 获得特征向 量； 将所述特 征向量按照通道维度拼接在一 起得到48*48* 512的拼接向量； 缩减所述拼接向量的通道维度为原来的一半， 形成尺寸 为48*48*25 6的下采样特 征图。 8.免疫荧 光图像分类装置， 其特 征在于， 包括： 获取单元， 用于获取待测免疫荧 光图像； 卷积单元， 用于将所述待测免疫荧光图像输入到卷积层中， 利用所述卷积层对所述待 测免疫荧 光图像进行 卷积操作， 获得指定维度的映射特 征图； 注意力单元， 用于将所述映射特征图输入到区域自注意力网络中， 利用所述区域自注 意力网络对所述映射特 征图进行 特征提取， 获得注意力特 征图； 多尺度单元， 用于对所述注意力特征图重复执行以下步骤， 直至重复次数达到指定次 数： 对所述注意力特征图进 行下采样操作， 获得下采样特征图； 将所述下采样特征图输入到 所述区域自注意力网络中， 利用所述区域自注意力网络对所述下采样特征图进行特征提 取， 获得新的注意力特 征图； 将重复次数累加一； 确定单元， 用于在所述重复次数达到指定次数时， 将所述多尺度单元最终获得的新的 注意力特 征图作为目标分类图像； 分类单元， 用于对所述目标分类图像进行分类， 获得所述待测免疫荧光图像的分类结 果。 9.电子设备， 其特征在于， 包括存储有可执行程序代码的存储器以及与所述存储器耦 合的处理器； 所述处理器调用所述存储器中存储的所述可执行程序代码， 用于执行权利要 求1至7任一项所述的免疫荧 光图像分类方法。 10.计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储计算机程序， 其 中， 所述计算机程序使得计算机执 行权利要求1至7任一项所述的免疫荧 光图像分类方法。权　利　要　求　书 2/2 页 3 CN 115393641 A 3