1.一种结合卷积注意力模块的双分支视频异常检测方法,其特征在于:该方法基于一个双分支的网络结构,并将卷积注意力模块嵌入该双分支网络结构中,加强对特征的学习,两个分支分别进行视频帧预测和光流帧重建任务,所述卷积注意力模块由掩码卷积层和通道注意力层构建,其中所述掩码卷积层主要由四个小卷积组成,每个小卷积对特征图的边角区域进行操作,最后将四个小卷积的结果相加得到卷积注意力模块的输出结果,具体的该双分支视频异常检测方法包括如下步骤:步骤1:收集视频数据,将视频数据分为训练集和待测集;
步骤2:取步骤1所述训练集中的连续t个视频帧,即原始帧,输入到双分支结构中的视频帧预测分支中,预测得到第t+1个视频帧,即预测帧步骤3:将步骤2中的t个原始帧输入到光流提取网络中,提取得到原始帧的t个光流图像,即光流帧y1:t,然后将光流帧y1:t输入到双分支结构中的光流帧重建分支中,重建得到t个新的光流帧,即重建帧步骤4:计算步骤2中得到的第t+1个预测帧和第t+1个真实帧xt+1之间的预测误差Lpred,计算步骤3中得到的t个重建帧和输入的t个光流帧y1:t之间的重构误差Lrecon;
步骤5:结合步骤4中得到的预测误差Lpred和重构误差Lrecon,以及梯度损失Lgrad、交叉熵损失Lentro构建一个联合损失函数L对双分支网络进行训练,最终训练得到一个能对异常事件进行有效检测的网络模型;
步骤6:取步骤1中的待测集数据,即连续t个视频帧,依次通过步骤2、步骤3和步骤5,得到待测视频帧的预测误差Spred和重构误差Srecon,再对预测误差Spred和重构误差Srecon进行加权平衡,最终得到待测视频帧的异常得分S,进而实现对异常事件的检测。
2.根据权利要求1所述的一种结合卷积注意力模块的双分支视频异常检测方法,其特征在于:步骤2中提出的所述视频帧预测分支主要由一个自动编码器、多个嵌入其中的记忆内存模块以及一个卷积注意力模块构成,该分支的输出结果为第t+1帧的预测结果
3.根据权利要求2所述的一种结合卷积注意力模块的双分支视频异常检测方法,其特征在于:所述视频帧预测分支的构建方法为:步骤2-1:构建自动编码器:自动编码器主要由一个编码器和解码器构成,所述编码器和解码器都具有三层结构,所述编码器由两个卷积层和一个下采样层构成,所述解码器由两个卷积层和一个上采样层构成;
步骤2-2:对步骤2-1中的自动编码器进行通道拼接:在所述编码器和所述解码器的对应层之间加入跳跃连接,直接将所述编码器每一层的特征图和解码器对应层的特征图进行通道拼接操作,从而减少信息的损失;
步骤2-3:在自动编码器结构中嵌入了多个多尺度的记忆内存模块,所述记忆内存模块根据余弦相似性原理,得到一个新的特征图,公式如下:其中,Fin为输入特征图,mi为记忆内存中每个维度的特征向量,d(Fin,mi)表示余弦相似性,T表示转置;
其中,exp表示取e的指数,N表示记忆内存的维度,ri表示记忆内存对应特征向量的查询权重;
根据以上公式可以得到记忆内存模块中每个特征向量对应的查询权重,再将查询权重与对应的特征向量相乘并拼接得到一个新的特征图,其公式如下:其中,Fout表示输出特征图,N表示记忆内存的维度,ri表示对应记忆内存特征向量的查询权重,mi表示对应的记忆内存特征向量;
步骤2-4:嵌入卷积注意力模块:为了加强网络对输入图像周边语义信息的学习,在自动解码器之后嵌入一个卷积注意力模块。
4.根据权利要求3所述的一种结合卷积注意力模块的双分支视频异常检测方法,其特征在于:步骤2-4中所述通道注意力层构建主要包括如下步骤:步骤2-4-1:压缩阶段:对输入特征图的每个通道进行全局平均池化,得到一个维度等于特征通道数的一维向量;
步骤2-4-2:激发阶段:将步骤2-4-1压缩阶段得到的一维向量输入到两个全连接层中,获得每个特征通道对应一维权重向量;
步骤2-4-3:重新调整阶段:用步骤2-4-2激发阶段得到的一维权重向量与输入的特征图进行相乘操作,从而得到最终的输出结果。
5.根据权利要求4所述的一种结合卷积注意力模块的双分支视频异常检测方法,其特征在于:卷积注意力模块的使用个数等于输入数据的通道数。
6.根据权利要求1所述的一种结合卷积注意力模块的双分支视频异常检测方法,其特征在于:所述步骤4中的预测误差Lpred和重建误差Lrecon分别由以下两个公式得到:其中,|| ||2表示取l2范数,
其中,|| ||2表示取l2范数。
7.根据权利要求6所述的一种结合卷积注意力模块的双分支视频异常检测方法,其特征在于:所述步骤5中联合损失函数的构建过程为:步骤5-1:在所述步骤5中加入了梯度损失Lgrad,其公式如下:
其中,k,l代表视频帧的时空索引,|| ||1表示取l1范数,| |表示取绝对值;
步骤5-2:为了使记忆模块能更好地学习正常事件,查询权重更加的稀疏,因此,加入了交叉熵损失Lentro对查询权重进行约束,其公式如下:其中,O代表记忆模块的数量,N代表记忆模块的维度,ri,j代表对应记忆内存中特征向量的查询权重;
步骤5-3:对步骤4中得到的预测误差Lpred和重构误差Lrecon,以及梯度损失Lgrad、交叉熵损失Lentro进行加权平衡可以得到联合损失函数L,其公式如下:其中,λpred,λgrad,λrecon和λentro为平衡参数。
8.根据权利要求1所述的一种结合卷积注意力模块的双分支视频异常检测方法,其特征在于:步骤6中的异常得分S由预测误差Spred和重构误差Srecon加权平衡得到,公式为:S=wpSpred+wrSrecon
其中,wp和wr为平衡参数。