(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211149714.X (22)申请日 2022.09.21 (71)申请人 上海大学 地址 200436 上海市宝山区上 大路99号 (72)发明人 武星　李攀　 (74)专利代理 机构 上海申汇 专利代理有限公司 31001 专利代理师 翁若莹　柏子雵 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/77(2022.01) G06V 10/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于时空演变的遥感影像篡改目标检测方 法及系统 (57)摘要 本发明揭示了一种基于多视角特征和多尺 度监督的遥感影像篡改目标检测方法及系统， 包 括： 边界检测模块， 检测篡改目标经伪装遮蔽处 理出现的边界伪影； 噪音检测模块， 捕捉被篡改 区域与遥感影像 真实区域噪声分布的差异特征； 双重注意力特征融合模块， 利用通道注意力融合 网络将通道的特征进行融合； 多尺度监督损失， 包含三种尺度的损失联合训练模 型， 提高模型泛 化性能。 本发 明提供的基于多视角特征和多尺度 监督的遥感影像篡改目标检测方法及系统， 构建 了遥感影像篡改目标异常自动检测模 型， 可以精 准检测和定位经过篡改处 理的影像区域。 权利要求书3页 说明书9页 附图3页 CN 115457362 A 2022.12.09 CN 115457362 A 1.一种基于时空演变的遥感影像篡改目标检测系统， 其特征在于， 包括高时空分辨率 生成模块、 时空不 一致性检测模块以及结果输出模块； 高时空分辨 率生成模块进一 步包括： 高时间低空间单元， 用于分别提取指定待生成时刻的高时间、 低空间分辨率遥感影像 和位于指定待生成时刻附近的附近时刻的高时间、 低空间分辨率遥感影像中的低频特征， 得到最终的高时间低空间特 征图； 高空间低时间单元， 用于分别提取对应时刻的低 时间、 高空间分辨率遥感影像中的高 频特征， 并过滤噪声信息得到最终的低时间高空间特 征图； 特征融合单元， 用于将相同维度和大小的高时间低空间特征图与低时间高空间特征图 融合生成指定时刻的高时空分辨 率遥感影 像； 时空不一致性检测模块进一步包括空间不一致单元、 时间不一致单元和时空特征融合 单元， 其中： 空间不一致单元和时间不一致单元基于高时空分辨率遥感影像分别从时间和 空间两 个角度检测伪造区域的不 一致性， 分别获得空间不 一致特征图与时间不 一致特征图； 时空特征融合单元， 用于捕 获和融合空间不一致特征图与时间不一致特征图的不一致 信息， 实现信息互补， 获得最终的特 征表示， 实现伪造目标的辅助检测； 结果输出模块基于时空不一致性检测模块输出的最终的特征表示识别并输出遥感影 像被篡改区域 坐标与篡改方式。 2.一种基于权利要求1所述遥感影像篡改目标检测系统实现的基于时空演变的遥感影 像篡改目标检测方法， 其特 征在于， 包括以下步骤： 步骤1、 基于高时空分辨率生成模块、 时空不一致性检测模块以及结果输出模块构建检 测模型。 步骤2、 对检测模型进行训练， 包括以下步骤： 步骤201、 采集样本数据， 构建训练数据集； 步骤202、 对检测模型进行训练， 检测模型的实现包括以下步骤： 步骤2021、 利用高时空分辨率生 成模块生 成指定待生 成时刻 的高时空分辨率影像， 进 一步包括以下步骤： 步骤20211、 高时间低空间单元分别提取指定待生成时刻 的高时间、 低空间分辨率遥 感影像中低频 特征和位于指定待生成时刻 附近的附近时刻t的高时间、 低空间分辨 率遥感 影像中低频特征， 获得低频特征图， 同时对低频特征图的尺 寸进行扩展， 得到指 定待生成时 刻 和附近时刻t的最终的高时间低空间特 征图 和 步骤20212、 低时间高空间单元从附近时刻t的低时间、 高空间分辨率遥感影像中提取 高频特征， 并过滤噪声信息得到最终的低时间高空间特 征图 步骤20213、 特征融合单元将附近时刻t的低时间高空间特征图 减去附近时刻t的 高时间低空间特征图 作为差异参照， 然后将差值加到指定待生成时刻 的高时间低空 间特征图 上， 从而将两种特征图中的高、 低空间频率信息融合， 最终得到的用于生成权　利　要　求　书 1/3 页 2 CN 115457362 A 2指定待生成时刻 遥感影像的融合特 征 表示为下式： 步骤2022、 时空不 一致性检测： 通过空间不一致单元和时间不一致单元从时间和空间两个角度检测伪造区域的不一 致性， 具体包括以下步骤： 步骤20221、 空间不一致单元具有三通路结构， 对于空间不一致单元的输入特征图 式中， T表 示时刻T， C表示遥感影像通道数， H表 示遥感影像长度， W表示遥感 影像宽度， 三通路结构中 的中通路以低分辨率的方 式工作， 将输入特征图X1通过核大小为2 ×2、 步长为2的平均池化后， 再 经过两次连续卷积和双线性上采样 操作得到 输出S： S＝upsampl ing(K1*K2*AvgPool2(X1))) 式中， upsampling表示双线性上采样； K1和K2分别是核大小为1 ×3和3×1的卷积； AvgPool2(X1)表示对输入特 征图X1做平均池化； 三通路结构中的上通路是一个残差连接， 加到中通路； 将上通路的输出和中通路的输出进行融合， 融合的结果经过sigmoid得到置信度， 与 三 通路结构中的下通路经 过3x3卷积的输出后进行相乘， 得到最终分配置信度分数 特征图Y1： Y1＝K4⊙( σ(S+X1)⊙K3(X1)) 式中， K3是用于特 征提取的3 ×3卷积， K4是用于后处 理的3×3卷积， σ 是sigmo id函数； 步骤20222、 时间不一致单元分别从水平和垂直方向对遥感影像序列进行观察建模， 利 用沿这两个正交方向的相 邻时刻遥感影像的特征差异来 发现时间上的不一致区域， 包括以 下步骤： 1)对于时间不一致单元的输入特征图 分别沿水平和垂直方向输入， 然 后经过卷积、 差分和sigmoid运算， 得到两个与输入 特征图X2形状相同的重要性权重Fh和Fw， 包括以下步骤 a)在通道维度对输入特征图X2压缩r倍后， 分别沿垂直方向和水平方向进行差分计算， 得到垂直切片差异图Sh和水平切片差异图Sw； b)分别由垂直时间不一致增强单元VTIE和水平时间不一致增强单元HTIE对垂直切片 差异图Sh和水平切片差异图Sw进行处理， 提取垂直切片差异图Sh和水平切片差异图Sw的多 级表征； c)使用逐元素加法来融合垂直时间不一致增 强单元VTIE以及水平时间不一致增 强单 元HTIE所提取的多 级表征， 再 经过sigmoid函数来决定 重要性权 重Fh和Fw； 2)将重要 性权重Fh和Fw乘以X2获得增强后的沿时间维度的垂直不一致特征图Y2， 如下式 所示： 式中， VTIE(Sh)表示垂直时间不一致增强单元VTIE对垂直切片差异图Sh的操作， HTIE (Sw)表示水平时间不 一致增强单 元HTIE对水平切片差异图Sw的操作； 步骤20223、 时空特征融合单元通过融合空间不一致单元和时间不一致单元分别捕获权　利　要　求　书 2/3 页 3 CN 115457362 A 3