(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210717245.0 (22)申请日 2022.06.23 (65)同一申请的已公布的文献号 申请公布号 CN 114820596 A (43)申请公布日 2022.07.29 (73)专利权人 西湖大学 地址 310024 浙江省杭州市西湖区转塘街 道石龙山 街18号 (72)发明人 郑孙易　杨林　李竞雄　水忠益　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 贾玉霞 (51)Int.Cl. G06T 7/00(2017.01) G06T 5/00(2006.01) G06T 7/155(2017.01) G06N 3/04(2006.01) G06K 9/62(2022.01) G06V 10/82(2022.01)G06V 10/80(2022.01) (56)对比文件 CN 111612744 A,2020.09.01 CN 114581310 A,202 2.06.03 CN 111612745 A,2020.09.01 US 2014016843 A1,2014.01.16 游齐靖.机 器学习在染色体和眼底图像分析 中的应用. 《中国优秀硕士学位 论文全文数据库 （电子期刊） 》 .2021,第2021年卷(第07期), Sifan So ng et al.A N ovel Application of Image-to-Ima ge Translati on: Chromosome Straighten ing Framew ork by Learn ing from a Single Ima ge. 《2021 14th I nternati onal Congress on Image and Signal Proces sing, BioMedical Engi neering and I nformatics (CISP-BMEI)》 .2021, (续) 审查员 宋海荣 (54)发明名称 基于联合模型的弯曲染色体图像拉直方法 (57)摘要 本发明公开了一种基于联合模型的弯曲染 色体图像拉直方法， 其包括： 作用形变场到现实 笔直染色体来实现弯曲染色体的模拟； 通过第一 UNet编码器的卷积操作和Transformer层的自注 意力引导来提取现实笔直染色体和模拟弯曲染 色体各自的局部和全局形态学特征， 使用解码回 归建立两种染色体的形态学特征映射关系， 即为 形态学拉直形变场； 计算长度和弯曲程度， 从结 构上进一步修正形态学拉直形变场， 得到初次修 正的形态学拉直形变场； 接着通过第二UNet对初 次修正的形态学拉直形变场再次进行形态学和 结构的二次细节修正优化； 最后将待预测的现实 弯曲染色体依次输入到初次修正和二次修正的 形态学拉直形变场， 即可得到最终的拉直染色体。 本发明方法通用性强、 准确性高。 [转续页] 权利要求书2页 说明书7页 附图5页 CN 114820596 B 2022.10.11 CN 114820596 B (56)对比文件 Mehrsan Javan Roshtkhari et al.A novel algorithm for st raighten ing highly curved ima ges of human c hromosome. 《Pattern Recogn ition Letters》 .20 08,第29卷 (第9期),2/2 页 2[接上页] CN 114820596 B1.一种基于联合模型的弯曲染色体图像拉直方法， 其特征在于， 所述联合模型包括由 在第一UNet网络的编码器和解码器之间嵌入Transformer 网络中的Transformer层所形成 的融合网络TransUNet， 以及第二UNet网络； 所述TransUNet用于构建融合染色体形态学和结构的特征关系； 所述第二UNet网络用 于对TransUNet构建的特 征关系进行优化； 该方法包括如下步骤： 步骤一： 选取现实中染色体图像数据， 计算每个染色体的弯曲程度， 选取弯曲程度小于 设定阈值的染色体， 作为现实笔直染色体， 在其上作用不同力度的形变场来生成对应的模 拟弯曲染色体； 步骤二： 通过第 一UNet编码器的卷积操作分别提取步骤一中的现实笔直染色体和模拟 弯曲染色体的局部的形态学特征， 再通过Transformer层的自注意力引导分别提取步骤一 中的现实笔直染色体和模拟弯曲染色体的全局形态学特征； 基于全局和局部形态学特征， 使用解码回归的方式建立现实笔直染色体和模拟弯曲染色体的形态学特征关系， 根据形态 学特征关系计算形态学拉直形变场， 然后将形态学拉直形变场作用在模拟弯曲染色体上， 得到初步预测的拉直染色体； 步骤三： 计算现实笔直染色体和初步预测的拉直染色体的长度和曲率， 以笔直染色体 为目标， 初次修正形态学拉直形变场， 并将初次修正后的形态学拉直形变场作用在初步预 测的拉直染色体上， 得到结构校正的拉直染色体； 步骤四： 利用第 二UNet编码器的卷积操作提取并融合模拟弯曲染色体和结构校正的拉 直染色体的特征信息， 执行步骤二和步骤三相同的操作， 从形态学和结构方面对形态学拉 直形变场再进行细节上的优化， 得到二次修 正的形态学拉直形变场； 步骤五： 将待预测的现实弯曲染色体图像数据输入初次修正后的形态学拉直形变场， 再将得到的结果输入二次修正的形态学拉直形变场， 即可得到与现实弯曲染色体对应的拉 直染色体； 所述步骤一包括如下子步骤： （1.1） 根据中心线 算法提取现实中染色体图像 数据的中心线 集Lc， 在中心线上等间距选 取五个点， 并计 算染色体的弯曲程度Sd， 选取Sd小于设定阈值的染色体构建现实笔直染色体 集Cs， 其中， x,y为中心线上等间距选取的五个点的坐标； （1.2） 利用步骤 （1.1） 中得到的一条现实笔直染色体cs， cs属于Cs中的一条染色体， 构建 一个与染色体图像大小相同的形变场M， 在形变场上随机选取该染色体中心线lc上的点i， 作用在点i上的力为pi， 生成一个表示力作用的变形方向的随机向量v和表示力作用强度的 权重w， 得到形变作用力pi+wv； （1.3） 利用步骤 （1.2） 中得到的形变作用力pi+wv， 对染色体cs进行弯曲， 得到模拟弯曲 染色体xb； 所述步骤二包括如下子步骤： （2.1） 将步骤 （1.1） 得到的现实笔直染色体cs和 （1.3） 得到的对应的模拟弯曲染色体xb权　利　要　求　书 1/2 页 2 CN 114820596 B 3