1.一种基于多路径注意力时序的视频异常检测方法,其特征在于,所述方法包括:步骤一、循环残差卷积单元,将连续的T帧依次输入到编码器中进行特征提取并输入到上下文模块中,实现多尺度特征提取以及时序信息的建模;
步骤二、跳跃注意力门,在不同尺度的信息压缩之前直接将显著性的低层特征信息转换为解码特征图,采用SAG,通过跳跃连接将下采样层的结构化信息和当前层纹理信息进行融合,并利用归一化注意力系数得到关联性强的区域,每个跳跃连接的门控信号聚合了来自多个特征尺度的信息,这提高了查询信号的网格分辨率;
步骤三、规则性得分,采用T帧的特征图进行跳跃连接,最终输出一帧作为T+1帧的预测结果,并使用实际的第T+1帧作为Ground Truth来完成预测任务。
2.根据权利要求1所述的一种基于多路径注意力时序的视频异常检测方法,其特征在于,所述步骤一中编码器主要由不同尺度的RRCU和卷积块构建;RRCU的关键是循环卷积层,RRCU包含RCL;RCL是根据RRCU示的时间步长t执行的;对于位于RCL中第k个特征图上位于(m,n)处的像素,其在时间步长为t时的净输入 由下式计算:其中, 和 分别表示前馈输入和第l个RCL的输入; 和 分别表示向量化的前馈权重和第k个RCL的循环权重,bl是偏差;其表达式为:RRCU的最终输出通过残差单元,假设RRCU的输出是ux+1,其计算如下:ux+1=ux+F(ux,wl) (3)其中,ux表示RRCU的输入。
3.根据权利要求1所述的一种基于多路径注意力时序的视频异常检测方法,其特征在于,步骤二中SAG的输出是输入特征图和注意力系数的元素乘法,如下式所示:其中,注意力系数αi∈[0,1]。 表示每个像素向量,Cx对应于层x中的特征图的数x量;i和c分别表示空间维度和通道维度;连接的特征F 和G被线性映射到 维的空间中;每个像素i使用一个门控向量 来确定显著性区域;注意力公式如下:其中, 和偏置项bψ∈R, 均为SAG的特征
参数ξatt,且这些参数被计算通过使用输入张量为1×1×1通道卷积;
SAG参数可以通过标准的反向传播更新进行训练,而无需使用基于采样的更新方法,第x‑1层参数的更新规则可表述为式(7),x
其中,右侧的第一个梯度项被缩放按比例 Φ表示第x卷积层的核参数。
4.根据权利要求1所述的一种基于多路径注意力时序的视频异常检测方法,其特征在于,步骤三中根据Mathieu,使用图像质量评估方法峰值信噪比(PSNR),如式(8)所示;
其中,N是视频帧中的像素数;当视频帧正常时获得较高的PSNR值,反之亦然;
在计算每个预测帧 与真实帧It的PSNR之后,将每个测试视频中的所有帧的PSNR归一化到[0,1]范围内,并使用式(9)来计算每帧的规则性分数:因此,根据其得分S(t)来预测一帧是正常还是异常。
5.根据权利要求2所述的一种基于多路径注意力时序的视频异常检测方法,其特征在于,RRCU中的循环连接不仅确保每个单元将上下文信息合并到当前层的任意大区域中,而且在增加网络深度的同时通过权重共享保持可调参数的数量不变;RRCU从输入到输出之间的较长路径使得模型可以学习更复杂的特征,而较短路径有助于训练期间梯度的反向传播。