(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210635897.X (22)申请日 2022.06.07 (71)申请人 西北大学 地址 710127 陕西省西安市长安区郭杜街 道郭杜镇学府大道1号西北大学长安 校区 (72)发明人 苏临之　宋宇　郁建楠　王鑫阳　 叶嘉鹏　王越　 (74)专利代理 机构 西安长和专利代理有限公司 61227 专利代理师 何畏 (51)Int.Cl. G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/28(2022.01) G06V 10/74(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 多尺度融合双时相遥感图像的多分类变化 检测方法及系统 (57)摘要 本发明属于遥感图像处理技术领域， 公开了 一种多尺度融合双时相遥感图像的多分类变化 检测方法及系统， 所述多尺度融合双时相遥感图 像的多分类变化检测方法包括： 首先将两张单时 相的图像放入第一阶段的ShelfNet网络当中提 取各自的高层语义特征， 然后将提取到的特征进 行融合， 映射到一个新的空间； 在空间内构建第 二阶段的语义分割网络PSPNet， 将融合特征的深 层次特征提取后进行相似性判断， 使得未变化像 素的相关性增大， 变化像素之间的相关性减小， 最后判定得出多分类变化检测的结果图。 本发明 加快了运行速度， 减少了资源的消耗。 权利要求书3页 说明书10页 附图6页 CN 115035334 A 2022.09.09 CN 115035334 A 1.一种多尺度融合双时相遥感图像的多分类变化检测方法， 其特征在于， 所述多尺度 融合双时相遥感图像的多分类 变化检测方法包括： 首先将两张单时相的图像放入第一阶段的ShelfNet网络当中提取各自的高层语义特 征， 然后将提取到的特征进 行融合， 映射到一个新的空间； 在空间内构建第二阶段的语义分 割网络PSPNet， 将融合特征的深层次特征提取后进行相 似性判断， 使得未变化像素的相关 性增大， 变化像素之间的相关性减小， 最后判定得 出多分类 变化检测的结果图。 2.如权利要求1所述多尺度融合双时相遥感图像的多分类变化检测方法， 其特征在于， 所述多尺度融合双时相遥感图像的多分类 变化检测方法具体过程 为： 步骤一， 选取公开数据集， 并对数据集进行预处理； 数据集的预处理使得训练的数据样 本更加复杂， 使得训练得到的网络结构有更强的健壮性和鲁棒 性； 步骤二， 构建基于ShelfNet的网络模型， 提取双时相图像特 征； 步骤三， 构建基于多分类检测的网络模型和基于PSPNet的语义分割网络， 进行区分不 同的变化； 步骤四， 选取训练样本对 网络模型训练， 并选取测试集对 网络模型进行测试， 验证提取 出网络模型的有效性。 3.如权利要求2所述多尺度融合双时相遥感图像的多分类变化检测方法， 其特征在于， 所述步骤一中， 数据集进行 预处理包括裁 剪和图像增强。 4.如权利要求2所述多尺度融合双时相遥感图像的多分类变化检测方法， 其特征在于， 所述步骤二中， 提取双时相图像特 征具体过程 为： 在提取双时相图像特征阶段， 采用ShelfNet作为基础网络提取特征； 通过减少渠道的 数量以提高速度， 使用1 ×1卷积层后接BatchNormalization和Relu层， 在空间水平上将通 道的数量从256， 512， 1024， 2 048转变到64， 128， 256， 512； 输出的张量为提取的特征， 在提取 到的普遍特 征的基础上自适应的调节参数， 使得模型适 合特定的数据集； 通过改进的残差块， 减小模型尺寸并更有效地提取特征， 同一块中的两个卷积层共享 相同的权重， 两个Normalization层不同； 共享权重设计重用卷积的权重， 并具有与递归卷 积神经网络类似的特性； 在两个卷积层之间添加一个脱落层， 以避免过度拟合； 共享权残差 块结合跳跃 连接、 循环卷积和退 出正则化， 并且比标准残差块有更少的参数。 5.如权利要求2所述多尺度融合双时相遥感图像的多分类变化检测方法， 其特征在于， 所述步骤三中， 构建基于多分类 检测的网络模型 具体过程 为： 将Shelf‑Net网络提取到的双 时相特征图进行融合； 将融合的特征图通过PSPNet中金 字塔池化模块收集不同尺度的语境信息并融合生成不同级别的特征图， 最终被展平并拼接 起来， 然后输入到全连接层中进行分类， 得 出最后的多分类 变化检测图。 6.如权利要求2所述多尺度融合双时相遥感图像的多分类变化检测方法， 其特征在于， 所述步骤四中， 选取训练样本对网络模型训练并选取测试集对网络模型进行测试， 验证提 取出网络模型的有效性具体过程 为： 1)损失函数 通过结合Dice  Loss和交叉熵损失CrossEntropy  Loss， 以解决二值分类中样本不平衡 的情况； 在实践中， 将Dice损失与CrossEntropy损失结合使用， 以提高模型训练的稳定性， 总损失定义 为式为：权　利　要　求　书 1/3 页 2 CN 115035334 A 2Loss＝LDice+LCrossEntropy    (1) 2)评价标准 通过总体准确度和mI oU评估标准， 评估不同变化检测算法的性能。 7.如权利要求6所述多尺度融合双时相遥感图像的多分类变化检测方法， 其特征在于， 所述Dice损失具体为： 在进行多分类类变化检测时， 首先获得二分类变化图， 再在二分类变化图的指导下获 得多分类 类变化图， 通过Dice损失来进行评价； 其中X为地面真值， Y为网络输出的预测结果； |X|+|Y|表示矩阵元素的和； X∩Y表示X和 Y之间共有的元 素数， 实际上通过求两个矩阵的像素乘积的和来计算得到 。 8.如权利要求6所述多尺度融合双时相遥感图像的多分类变化检测方法， 其特征在于， 所述交叉熵损失具体为： 交叉熵损 失判定实 际的输出与期望的输出的接近程度， 损 失函数结合； 预测分布越接 近真实分布， 交叉熵损失越小， 预测分布越远离 真实分布， 交叉熵损失越 大； 对一个具有N个 数据集， 多标签为C分类任务的交叉熵损失函数的计算方法为： 其中y为地面真值， 为网络输出。 9.如权利要求6所述多尺度融合双时相遥感图像的多分类变化检测方法， 其特征在于， 所述总体准确度具体为： 总体准确度中正确分类的双时态像素数除以测试样本数， 测量分类性能， 反映分正确 的比例， 评价变化检测算法为： 通过对所有的输出图片以及对应的变化标签进行统计， 得到混淆矩阵M＝{Mij}， Mij表 示被识别为第i个更改类型， 实际属于第j个 变化类型； N表示变更类型的总数； mIoU具体为： 利用mIoU评价变化检测结果， 结果给定一个混淆矩阵M， 有： 其中IoU1评估未变化像素的提取效果， IoU2评估变化像素的提取效果， 从而得到mIoU 的定义为： mIoU＝0.5*IoU1+0.5*IoU2     (7)。 10.一种实施如权利要求1～9任意一项所述多尺度融合双时相遥感图像的多分类变化 检测方法的多尺度融合双时相 遥感图像的多分类变化检测系统， 其特征在于， 所述多尺度权　利　要　求　书 2/3 页 3 CN 115035334 A 3