1.一种基于双流时空编码器的自监督视频异常检测方法,其特征在于:所述方法包括预处理模块、视频流网络、光流网络以及横向链接,具体步骤为:S1,通过预处理模块对一段输入的视频帧生成视频时空立方体和光流时空立方体;
S2,将视频时空立方体在时间或者空间顺序上进行打乱,以输入视频流网络;
S3,将光流时空立方体在在时间或者空间顺序上进行与S2同样顺序地打乱,以输入光流网络;
所述光流网络使用了一个视觉Transformer架构,分为空间Transformer编码器模块和时间Transformer编码器模块,具体步骤为:A1,给定输入
A2,将Transformer编码器分为了空间Transformer编码器和时间Transformer编码器;
A3,执行L个空间Transformer编码器,其具体公式如下:
y
z
其中y
A4,对z
y
z
其中y
S4,在提取特征的过程中,将光流网络中的特征通过横向链接传入视频流网络;
S5,通过恢复视频和光流时空立方体的时空顺序以训练网络模型;
S6,测试时,将不打乱时空顺序的视频输入网络以识别异常。
2.根据权利要求1所述的一种基于双流时空编码器的自监督视频异常检测方法,其特征在于:步骤S1中,将光流作为新的先验信息引入视觉模型中;通过对视频和光流联合建模,模型挖掘视频中全面的时空特征。
3.根据权利要求2所述的一种基于双流时空编码器的自监督视频异常检测方法,其特征在于:步骤S1中,通过对象检测器进行对象检测以生成对象边界框,通过光流提取器进行光流提取;为光流和视频构建以对象为中心的时空立方体;
首先计算光流的幅度,通过轮廓检测得到光流对象边界框B2;然后,将B2中的边界框与同一视频帧中B1中的边界框进行比较,重叠度低于一定阈值的边界框将合并到B1中;最后,为光流和视频构建以对象为中心的时空立方体,通过采用相同的边界框,从时间上相邻的帧{i-t,...,i-1,i,i+1,...,i+t}中剪裁补丁,i表示视频第i帧的图像和光流,t表示使用的相邻帧的数量,堆叠这些补丁以创建时空立方体,这些补丁的位置由B1中的坐标确定。
4.根据权利要求1所述的一种基于双流时空编码器的自监督视频异常检测方法,其特征在于:步骤2和3中,将视频和光流时空立方体在时间或者空间顺序上进行相同地打乱,以输入双流编码器中进行自监督训练。
5.根据权利要求4所述的一种基于双流时空编码器的自监督视频异常检测方法,其特征在于:双流编码器采用针对不同模态数据的定制网络架构,实现了对视频中高级视觉特征的全面提取,分别为视频流网络和光流网络。
6.根据权利要求5所述的一种基于双流时空编码器的自监督视频异常检测方法,其特征在于:所述视频流网络由多层的3D卷积以及2D卷积组成,每个卷积层后跟着一系列的实例归一化层、ReLU激活函数和池化层。
7.根据权利要求1所述的一种基于双流时空编码器的自监督视频异常检测方法,其特征在于:步骤S4中,在双流网络提取特征的过程中,将光流网络中的学习到的特征通过横向链接传入视频流网络进行特征融合,其具体工作流程为:对于经过每个空间Transformer编码器后获得的输出,对其进行重塑,对空间Transformer模块的输出,首先去除空间分类嵌入spatial CLS embedding,再去除patch embedding,得到同输入光流编码器同样shape的数据,再对其执行池化,以对应视频流网络中数据的shape,然后输入到视频流网络中。
8.根据权利要求1所述的一种基于双流时空编码器的自监督视频异常检测方法,其特征在于:步骤S5中,通过恢复视频和光流时空立方体的时空顺序以训练网络模型;视频流网络和光流网络都被用来预测被打乱视频帧的原始顺序,通过对两者的预测结果进行融合,再通过交叉熵损失函数来优化网络以完成网络的训练。
9.根据权利要求1所述的一种基于双流时空编码器的自监督视频异常检测方法,其特征在于:步骤S6中,测试时,将不打乱时空顺序的视频序列输入训练好的模型中;对于正常数据,模型不会打乱其顺序;对于异常数据,模型会将其恢复为正常数据,从而打乱了原始顺序;模型通过上述方法识别出异常对象并计算出每一帧中每一个对象的异常分数,再将每帧所有对象中异常分数最小的值视为该帧最终的异常分数。