(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210730575.3 (22)申请日 2022.06.24 (71)申请人 南通大学 地址 226019 江苏省南 通市崇川区啬园路9 号 (72)发明人 李洪均　王云龙　孙晓虎　李超波　 陈俊杰　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 王毅 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/762(2022.01)G06N 3/04(2006.01) (54)发明名称 一种基于曲形度量模型的双流视频异常检 测方法 (57)摘要 本发明属于无监督异常检测技术领域， 具体 为一种基于曲形度量模型的双流视频异常xlif检 测方法， 包括S1、 加载视频， 将视频每五帧分为一 个视频序列； S2、 对每个视频序列的第一帧xfif作 为输入帧， 将其输入到静态模 块中进行操作； S3、 对每个视频序列的前四帧xclips， 将其输入到动 态模块中进行操作； S 4、 对于动 态模块输出 和 静态模块输出 决策模块将二者 结合起来产 生对最后一帧的预测帧 本发明能够减少在 获取不同视频帧差异时丢失的有用信息， 更好的 衡量复杂的场景之间的差异， 更合理地反映了复 杂场景之间的差异， 获得了更多有用的认知信 息。 权利要求书4页 说明书13页 附图6页 CN 115272912 A 2022.11.01 CN 115272912 A 1.一项基于曲形度量模型的双流视频异常检测方法， 其特 征在于， 所述方法包括： S1、 加载视频， 将视频每五帧分为 一个视频序列； S2、 对每个视频序列的第一帧xfif作为输入帧， 将其输入到静态模块中进行操作； S3、 对每个视频序列的前四帧xclips， 将其输入到动态模块中进行操作； S4、 对于动态模块输出 和静态模块输出 决策模块将二者结合起来产生对最后 一帧xlif的预测帧 2.根据权利要求1所述的一项基于曲形度量模型的双流视频异常检测方法， 其特征在 于， 所述S2和 S4中的静态模块都包括静态编码器Ds、 k‑mean++聚类模块和静态解码器Ds， 所 述静态编码器Ds连接k‑mean++聚类模块， 所述k ‑mean++聚类模块 连接静态解码器Ds； 所述静 态编码器Es和静态解码器Ds都去除了每个深度残差块内的两个归一化层， 在深度残差块后 附加归一 化层， 同时将带泄 露线性整流单 元替换所有深度残差块的线性整流单 元； S2中， 所述静态编码器Es将输入帧xfif转化为中级外观及对象zs表示， 静态编码器Es并 输出至静态解码器Ds和k‑mean++聚类模块部分； 所述静态解码器Es将中级外观及对象表示zs转化为第一帧的重建帧 并输出决策模 块； 其中： 表示静态编码器Es参数， 表示静态解码器Ds的参数； 计算输入帧 和第一帧的重建帧 之间的均方误差， 其中静态编码器Es和静态解码 器Ds的损失函数Ls都定义为： 聚类模块将中级外观及对象表示zs作为输入并计算其与聚类中心C之间的距离Dc作为 输出至决策模块； 设对于包含K个聚类簇的聚类模块来说， 已经选取了n个初始聚类中心， 其中n∈(0， K)， 则在选取第n+1个聚类中心时距离当前个聚类中心越远的点会有更高的概率被选为第n+1 个聚类中心； 模型通过最小化数据表示zs和聚类中心之间C的距离来优化聚类中心； 将每个聚类中心 视为训练数据集中的正 常时空模式； 设K表示簇的数目， ck表示簇k的表 示， C＝{c1,c2,...,cK}表示所有簇的集合， 对于给定的中级外观及对象表示zs， 将其归一化 至[0,1]区间 并表示为r， 计算r和每 个聚类中心ck之间的欧氏距离： 其中h表示特征图的空间维度 行数大小w表示特征图的空间维度列数大小， γ是可调超 参数， k‑means++聚类策略目标函数Lcluster定义为：权　利　要　求　书 1/4 页 2 CN 115272912 A 2将最后一帧xlif输入到静态编码器Es中， 得到中间表示zlif， 然后将其归 一化为rlif， 最后 计算rlif与聚类中心C之间的欧式距离， 其表示 为: 其中， h∈[0,Hlif]， w∈[0,Wlif]， Hlif和Wlif都表示特 征映射rlif的空间维度。 3.根据权利要求2所述的一种基于曲形度量模型的双流视频异常检测方法， 其特征在 于， 所述静态编码器和静态解码器都由四个深度残差块组成。 4.根据权利要求1所述的一种基于曲形度量模型的双流视频异常检测方法， 其特征在 于， 所述动态模块包括动态编码器Em、 记忆模块和动态解码器Dm， 所述动态编码器Em连接记 忆模块， 所述记忆模块连接动态 解码器Dm； 所述动态编码器Em和动态解码器Dm都是由四个深 度残差块组成， 将带泄露线性整流单元替换所有深度残差块的线性整流单元； 所述动态编 码器Em将输入连续视频帧xclips的RGB差分转 化为中级运动表示zm并输出至记 忆模块； 其中， 表示动态编码器的参数； 记忆模块对沿特征图维度抽取实值向量， 对其中运动对象特征和对应的运动模式特征 进行关联记 忆； 对于动态编码器Em第i深度残差块产生的运动特征， 注意力模块首先将其输入到卷积 层： 其中， 表示动态编码器Em第i深度残差块所产生 的特征图矩阵， fn表示经过卷积滤波 器后第i深度残差块所产生的特征图， h表示动态编码器Em第i深度残差块所产生的特征图 的行数， w表示动态编码器Em第i深度残差块 所产生的特征图的列数， Wt表示卷积滤波器的权 重参数， 将卷积滤波器来嵌入输入特征并计算 沿特征维度的方差， 沿空间维度操作归一化， 以生成相应的注意图： 其中， var表示特征图方差矩阵， Att表示加上被方差突出后的特征 图矩阵， exp( ·)表 示以数学常数e为底的指数函数， var(h,w)其中表 示空间位置(h,w)处特征图的方差， d表示 第d个特征图， D表示第i层的特 征图数； 所述记忆模块将中级运动表示zm记忆、 重建并输出重建后的中级运动表示 输出到动 态解码器Dm；权　利　要　求　书 2/4 页 3 CN 115272912 A 3