1.一种基于残差注意力块和自选择学习结合的视频异常检测方法,其特征在于:所述视频异常检测方法包括如下步骤:步骤1:收集原始视频数据,利用对象检测器,提取前后若干视频帧的对象构建时间‑空间立方体即时空立方体;
步骤2:随机打乱步骤1中时空立方体的空间或时间顺序,分别构建空间拼图立方体和时间拼图立方体;
步骤3:利用步骤2中的空间拼图立方体和时间拼图立方体训练由两个预测分支构成的顺序预测模型:空间预测分支和时间预测分支,其中所述空间预测分支和所述时间预测分支均使用交叉熵损失指导训练过程;
步骤4:对模型先进行5轮的热启动训练,即空间预测分支和时间预测分支的交叉熵损失跳过自选择学习阶段,直接执行步骤6的梯度反向传播步骤;
步骤5:在步骤4中的热启动训练之后,其后的每一轮训练过程中,对于一个批次的训练样本损失,利用自选择学习策略分别对步骤3中两个分支的交叉熵损失进行自选择学习,剔除可疑的异常样本损失;
步骤6:所述步骤5后剩余的样本损失参与梯度反向传播过程,更新网络参数,经过多轮迭代训练,得到最终的顺序预测模型;
步骤7:对待测视频进行步骤1中的对象提取操作,获得待测时空立方体;
步骤8:对于步骤7获得的待测时空立方体,不打乱其空间顺序和时间顺序,直接输入到步骤6训练得到的最终顺序预测模型中,通过比较,取模型所预测顺序得分的最小值,获得待测时空立方体的空间和时间预测得分;
步骤9:对步骤8中的两个预测得分进行整合,获得待测时空立方体最终的对象预测得分,对一帧待测视频图像中多个对象预测得分进行比较,取最小的对象得分作为最终的视频帧异常分数,对所有视频帧异常分数进行比较,异常分数偏低的视频帧判定为异常视频帧,从而实现视频异常检测,其中,步骤3中,顺序预测模型的所述空间预测分支和所述时间预测分支分别预测被打乱的空间顺序和时间顺序,所述空间预测分支和所述时间预测分支具有相同的结构,均由连续多个全新残差注意力块构建而成,所述全新残差注意力块由残差模块、注意力模块和跳跃连接三部分组成,所述残差模块由2个3D卷积层、2个3D实例归一化层和1个ReLu激活函数构成,所述注意力模块包括1个全局池化层、2个全连接层、1个ReLu激活函数和1个Sigmoid激活函数,所述跳跃连接直接将输入残差注意力块的特征图与卷积后的特征图相加,形成输出特征图。
2.根据权利要求1所述的基于残差注意力块和自选择学习结合的视频异常检测方法,其特征在于:步骤3中所述空间预测分支和所述时间预测分支训练过程中使用的交叉熵损失函数具体为:2
其中,n 和T分别为空间拼图立方体的对象小块数量和时间拼图立方体的时间长度,CE(·)是计算交叉熵损失操作符,si和 分别为打乱后的空间顺序和模型预测的空间顺序,ti和 分别为打乱后的时间顺序和模型预测的时间顺序。
3.根据权利要求2所述的基于残差注意力块和自选择学习结合的视频异常检测方法,其特征在于:所述步骤5中,自选择学习策略具体包括如下步骤:步骤5‑1:对于空间预测分支和时间预测分支的训练样本损失集QS和QT,按照从低到高的顺序分别对其进行排序,公式如下:其中,sort(·)是递增排序操作符,PS和PT分别是排序后的样本损失集;
步骤5‑2:空间预测分支和时间预测分支分别根据选择因子λS和λT,计算选择的损失数量,公式如下:其中, 是向上取整操作符,NS和NT分别表示样本损失集QS和QT的样本数量,RS和RT分别表示应该选择学习的时间预测损失和空间预测损失的数量;
步骤5‑3:在应用自选择策略学习前,每一轮模型训练的目标函数Loss为:其中,min(·)是最小化操作符, 是样本损失集QS中的第i个样本损失, 是样本损失集QT中的第i个样本损失,在应用自选择学习策略后,每一轮模型训练的目标函数Loss被调整如下式:其中, 是样本损失集PS中的第i个样本损失, 是样本损失集PT中的第i个样本损失。
4.根据权利要求1所述的基于残差注意力块和自选择学习结合的视频异常检测方法,其特征在于:所述步骤1中利用对象检测器提取前后若干视频帧对象的具体提取过程为:步骤1‑1:对于每一个视频帧,利用已训练好的YOLOv3对象检测器检测一帧图像中的对象,根据检测的置信度,只保留置信度较高的对象,并获得包含检测对象位置信息的锚框;
步骤1‑2:以当前帧为中心,根据步骤1‑1中提取到的锚框,在时间连续的若干视频帧上提取相同位置的图像块;
步骤1‑3:将提取的图像块以时间顺序堆叠,构成时间‑空间立方体即时空立方体,其代表当前视频帧的一个基本的对象事件。
5.根据权利要求1所述的基于残差注意力块和自选择学习结合的视频异常检测方法,其特征在于:所述步骤2中构建空间拼图立方体和时间拼图立方体的具体过程为:步骤2‑1:对于一个时空立方体,在保持其时间顺序的同时,将对像块划分为若干个对象小块,打乱对象小块的顺序,构成空间拼图立方体;
步骤2‑2:对于一个时空立方体,在保持其空间顺序的同时,对其时间顺序进行打乱,构成时间拼图立方体。
6.根据权利要求1所述的基于残差注意力块和自选择学习结合的视频异常检测方法,其特征在于:所述步骤9对象预测得分Score,计算公式如下:Score=wS·ScoreS+wT·ScoreT
其中,ScoreS和ScoreT分别是空间预测分支和时间预测分支的预测分数,wS和wT分别是权重系数。