(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210557413.4 (22)申请日 2022.05.19 (71)申请人 昆明理工大 学 地址 650093 云南省昆明市五华区学府路 253号(昆明理工大 学) (72)发明人 付志涛　李梓谦　唐伯惠　李梦华　 聂韩　陈思静　 (74)专利代理 机构 北京轻创知识产权代理有限 公司 11212 专利代理师 孟仕杰 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/75(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) (54)发明名称 光学图像与SAR图像匹配方法、 装置、 电子设 备及介质 (57)摘要 本发明涉及光学图像与SAR图像匹配方法、 装置、 电子设备及介质， 包括步骤： 获取待匹配的 第一匹配图像和第二匹配图像； 获取第一匹配图 像对应的第一密集特征图像和第二匹配图像对 应的第二密集特征图像； 获取第一密集特征图像 对应的第一特征向量， 获取第二密集特征图像对 应的第二特征向量； 获取粗匹配特征点； 根据粗 匹配特征点获取第三特征图像对应的第三特征 向量和第四特征图像对应的第四特征向量； 获取 精匹配特征点； 根据多个精匹配特征点， 将第一 匹配图像和第二匹配图像进行匹配。 解决了光学 图像与SAR图像的匹配中特征图像产生的特征点 少， 导致匹配度低的问题。 权利要求书4页 说明书12页 附图1页 CN 115019071 A 2022.09.06 CN 115019071 A 1.光学图像与SAR图像匹配方法， 其特 征在于， 包括以下步骤： S1， 获取待 匹配的第一匹配图像和第二匹配图像， 所述第 一匹配图像为光学图像， 所述 第二匹配图像为SAR图像； S2， 提取所述第一匹配图像的多个第一特征图像， 将多个所述第一特征图像进行融合， 得到所述第一匹配图像对应的第一密集特征图像， 提取所述第二匹配图像的多个第二特征 图像， 将多个所述第二特征图像进行融合， 得到所述第二匹配图像对应的第二密集特征图 像； S3， 将所述第一密集特征图像输入位置编码器， 通过所述位置编码器输出所述第一密 集特征图像对应的第一特征向量， 所述第一特征向量中包括多个第一特征点， 每个所述第 一特征点携带有第一位置信息， 对于每个所述第一位置信息， 所述第一位置信息表征了所 述第一特征点在所述第一密集特征图像上的位置信息， 将所述第二密集特征图像输入位置 编码器， 通过所述位置编码器输出第二特征向量， 所述第二特征向量中包括多个第二特征 点， 每个所述第二特征点携带有第二位置信息， 对于每个所述第二特征信息， 所述第二位置 信息表征了所述第二特 征点在所述第二密集特 征图像上的位置信息； S4， 对于每个所述第一特征点， 确定所述第一特征点和各个所述第二特征点对应的第 一相似度得分， 将各个所述第一相似度得分中最大的相似度得分对应的第一特征点和 第二 特征点确定为所述第一特 征点对应的粗匹配特 征点； S5， 从所述第一匹配 图像上提取第三特征图像， 从所述第二匹配 图像上提取第 四特征 图像； S6， 根据多个所述粗匹配特征点， 确定所述第三特征图像对应的第 三特征向量， 所述第 三特征向量中包括多个第三特征点， 对于每个所述第三特征点， 所述第三特征点携带有第 三位置信息， 所述第三位置信息表征了所述第三特征点在所述第三特征图像上的位置信 息， 根据多个所述粗匹配特征点， 确定所述第四特征图像对应的第四特征向量， 所述第四特 征向量中包括多个第四特征点， 对于每个所述第四特征点， 所述第四特征点携带有第四位 置信息， 所述第四位置信息表征了所述第四特 征点在所述第四特 征图像上的位置信息； S7， 对于每个所述第三特征点， 确定所述第三特征点和各个所述第四特征点对应的第 二相似度得分， 将各个所述第二相似度得分中最大的相似度得分对应的第三特征点和 第四 特征点确定为所述第三特 征点对应的精匹配特 征点； S8， 根据多个所述精匹配特 征点， 将所述第一匹配图像和所述第二匹配图像进行匹配。 2.根据权利要求1所述的方法， 其特 征在于， 所述 步骤S2具体包括： 将所述第一匹配图像输入多级特征融合模型中， 通过所述多级特征融合模型输出所述 第一匹配图像对应的第一密集特征图像， 将所述第二匹配图像输入多级特征融合模型中， 通过所述多级特征融合模型输出 所述第二匹配图像对应的第二密集特 征图像； 所述多级特征融合模型包括依次连接的8个卷积层， 所述S2包括： S21， 将所述第一匹配图像输入至第一层所述卷积层， 确定所述第 一层所述卷积层输出 的所述第一匹配图像所对应的第一特 征图像； 将所述第二个卷积层作为当前模块， 通过执行以下步骤， 直到所述当前模块为第八个 卷积层， 得到每 个所述卷积层输出的第五特 征图像； 所述以下步骤 包括：权　利　要　求　书 1/4 页 2 CN 115019071 A 2将所述第一特征图像输入至当前模块， 确定所述当前模块输出的所述第 一特征图像所 对应的第五特 征图像； S22， 将所述第一特 征图像和多个第五特 征图像进行融合， 得到第一密集特 征图像； S23， 将所述第二匹配图像输入至第一层所述卷积层， 确定所述第 一层所述卷积层输出 的所述第一匹配图像所对应的第二特 征图像； 将所述第二个卷积层作为当前模块， 通过执行以下步骤， 直到所述当前模块为第八个 卷积层， 得到每 个所述卷积层输出的第六 特征图像； 所述以下步骤 包括： 将所述第二特征图像输入至当前模块， 确定所述当前模块输出的所述第 二特征图像所 对应的第六 特征图像； S24， 将所述第二特 征图像和多个第六 特征图像进行融合， 得到第二密集特 征图像。 3.根据权利要求2所述的方法， 其特 征在于， 所述S2 2具体包括： 对于所述S21中每层所述卷积层， 将第一层所述卷积层输出的第一特征图像和第二层 所述卷积层输出 的第五特征图像进行连接， 得到第七特征图像， 将第三层所述卷积层输出 的第五特征图像和第四层所述卷积层输出 的第五特征图像进行连接， 得到第八特征图像， 将第五层所述卷积层输出 的第五特征图像和第六层所述卷积层输出的第 五特征图像进行 连接， 得到第九特征图像， 将第七层所述卷积层输出 的第五特征图像和第八层所述卷积层 输出的第五特征图像进行连接， 得到第十特征图像， 将第一层所述卷积层输出 的第三特征 图像和第二层至第四层所述卷积层输出 的第五特征图像进行串联， 得到第十一特征图像， 将第五层至第八层所述卷积层输出 的第五特征图像进行串联， 得到第十二特征图像， 将所 述第七特征图像、 所述第八特征图像、 所述第九特征图像、 所述第十特征图像、 所述第十一 特征图像和所述第十二特 征图像进行融合， 得到第一密集特 征图像； 所述S24具体包括： 对于所述S23中每层所述卷积层， 将第一层所述卷积层输出的第二特征图像和第二层 所述卷积层输出 的第六特征图像进行连接， 得到第十三特征图像， 将第三层所述卷积层输 出的第六特征图像和 第四层所述卷积层输出的第六特征图像进行连接， 得到第十四特征图 像， 将第五层所述卷积层输出的第六特征图像和 第六层所述卷积层输出的第六特征图像进 行连接， 得到第十五特征图像， 将第七层所述卷积层输出 的第六特征图像和第八层所述卷 积层输出 的第六特征图像进行连接， 得到第十六特征图像， 将第一层所述卷积层输出 的第 四特征图像和 第二层至第四层所述卷积层输出的第六特征图像进 行串联， 得到第十七特征 图像， 将第五层至第八层所述卷积层输出的第六特征图像进 行串联， 得到第十八特征图像， 将所述第十三特征、 所述第十四特征图像、 所述第十五特征图像、 所述第十六特征图像、 所 述第十七特 征图像和所述第十八特 征图像进行融合， 得到第二密集特 征图像。 4.根据权利要求3所述的方法， 其特 征在于， 所述S4具体包括： 将所述第一特征向量和所述第 二特征向量输入粗匹配模块， 通过所述粗匹配模块输出 多个粗匹配特 征点； 所述粗匹配模块包括第一自注意力层、 第一交叉注意层和第一归一化指数函数层， 所 述S4包括： S41， 将所述第一特征向量和所述第二特征向量输入第一自注意力层， 对于所述第一特权　利　要　求　书 2/4 页 3 CN 115019071 A 3