1.基于多维二阶记忆引导网络的视频异常检测方法,其特征在于,包括异常检测模型训练阶段和异常检测模型测试阶段:在异常检测模型训练阶段,采用隐式计算方法提取连续帧之间时间维度上的特征,得到初始流动性特征f;对所述初始流动性特征f进行四次维度扩充卷积运算,得到融合后的特征图Ft′;从所述初始流动性特征f和所述特征图Ft′中提取出矫正后的流动性特征,并使用多维二阶记忆引导模块引导流动性特征提取的过程;
在异常检测模型测试阶段,将整个视频帧输入到异常检测模型中,对视频帧打出异常分数,使用所述异常分数判断视频中是否存在异常。
2.根据权利要求1所述的基于多维二阶记忆引导网络的视频异常检测方法,其特征在于,所述采用隐式计算方法提取连续帧之间时间维度上的特征过程具体包括:取4张原始连续帧的特征图拆成四份,分别进行相邻帧之间的流动性映射,其中最后一帧与第一帧进行流动性映射,如公式(1)所示:Ct=Ft·Mt (1)
其中Ct代表量化后的流动性特征,Ft为第t帧的原始特征图,Mt为Ft中每一个像素点对应的相邻特征图中的映射区域;
Ct中包含连续帧之间代表流动性的所有可能的时空位移,使用kernel‑soft‑argmax来估计最佳的位移流;kernel‑soft‑argmax采用二位高斯核掩码来抑制噪声异常值,估计最佳位移流的计算公式如公式(2)所示:其中μt(p)为估计的最佳位移流,kt(·)为二维高斯中心,ct(·)为相关性得分,p和p′分别为每个像素点的横纵坐标,ρ为可调节的参数;
估计的最佳位移流μt(p)经过计算得到Ft上每个像素点的最佳位移流坐标(x,y),在隐式计算过程中得到的最大相关值为v;将所述最佳位移流坐标(x,y)、最大相关值v存储在初始流动性特征f=(X,Y,V)中。
3.根据权利要求2所述的基于多维二阶记忆引导网络的视频异常检测方法,其特征在于,对所述初始流动性特征f=(X,Y,V)进行四次维度扩充卷积运算,每次维度扩充包含两次卷积过程;经过维度扩充后得到特征图Et,所述特征图Et表示所述初始流动性特征经过维度扩充后的流动性特征;将所述Et与原始特征图Ft进行融合得到特征图Ft′;特征图Ft′包含空间维度上的外观特征和时间维度上的流动性特性,并作为输入到解码器的特征图。
4.根据权利要求3所述的基于多维二阶记忆引导网络的视频异常检测方法,其特征在于,所述多维二阶记忆引导模块中一阶记忆模块存储的信息为所述初始流动性特征f,二阶记忆模块存储的是所述特征图Ft′;
所述一阶记忆模块包含Lo‑M模块和Ra‑M模块;将所述初始流动性特征f中存储的最佳位移流坐标(x,y)输入到所述Lo‑M模块中,将所述初始流动性特征f中存储的最大相关值v输入到所述Ra‑M模块中;训练阶段中所述Lo‑M存储正常事件中流动性产生的位置的典型分布,Ra‑M存储正常事件发生时产生流动性变化的幅度大小的典型分布;在测试阶段,计算所述初始流动性特征f与所述一阶记忆模块中各记忆项的欧式距离,将最匹配的记忆项与之进行concat操作得到经过矫正的流动性特征;其中Lo‑M模块计算欧氏距离如公式(3)所示,Ra‑M模块计算欧氏距离如公式(4)所示:其中,ft(x,y)第t帧图片最佳流动性坐标,ft(v)t到t+1的最大相关值,L′gra1表示ft(x,y)与Lo‑M模块中的记忆项之间的欧氏距离,L′gra2表示ft(v)与Ra‑M模块中的记忆项之间的欧氏距离,g′p1代表Lo‑M模块中与ft(x,y)欧式距离最近的记忆项,g′p2代表Ra‑M模块中与ft(v)欧式距离最近的记忆项;
若Lo‑M模块中没有记忆项与ft(x,y)接近,表示流动性发生在不被期望的位置上;若Ra‑M模块中没有记忆项与ft(v)接近,代表流动性变化不是因正常事件产生的;
所述二阶记忆模块包括一个联合补偿记忆模块Co‑M,所述联合补偿记忆模块Co‑M对F′t进行约束,强制引导F′t符合正常数据的分布;在训练阶段,计算输入数据与联合补偿记忆模块Co‑M记忆项之间的欧式距离,如公式(5)所示:其中,L″gra表示F′t与Co‑M模块中的记忆项之间的欧氏距离,rt表示F′t的查询项,g″p表示所述联合补偿记忆模块Co‑M中与rt最近的记忆项。
5.根据权利要求4所述的基于多维二阶记忆引导网络的视频异常检测方法,其特征在于,在训练过程中使用强度损失、特征吸引损失和排斥损失作为损失函数;所述强度损失的计算如公式(6)所示:其中 表示预测的下一帧,It+1表示真实的下一帧;
所述特征吸引损失迫使查询项与多维二阶记忆引导模块中最相似的记忆项匹配,所述特征吸引损失Lgra的计算公式如式(7)所示:Lgra=λ1L′gra1+λ2L′gra2+λ3L″gra (7)其中λ1、λ2、λ3为可调的权重参数;
所述拒绝损失Lrej通过最大化查询项与多维二阶记忆引导模块中的记忆项的第一匹配和第二匹配之间的距离从而强制拉开各自记忆项的距离,如公式(8)所示:其中l′g表示一阶记忆模块的类间距离,l′g′表示二阶记忆模块的类间距离类间差距,γ′、γ″是可调整的参数;l′g、l″g越大表示每个记忆项所代表的数据分布的差距越大;l′g、l″g的计算公式分别如式(9)和式(10)所示:其中,g′s1表示Lo‑M模块中与ft(x,y)欧式距离中第二近的记忆项,g′s2表示Ra‑M模块中与ft(v)欧式距离第二近的记忆项,g″p代表联合补偿记忆模块Co‑M中与rt最近的记忆项,g″s联合补偿记忆模块Co‑M中与rt第二近的记忆项;
将所述强度损失、特征吸引损失、和拒绝损失相加,得到目标函数如公式(11)所示:
Lpre=Lint+Lgra+Lrej (11)
其中Lpre表示多维二阶记忆引导模块的目标函数。
6.根据权利要求5所述的基于多维二阶记忆引导网络的视频异常检测方法,其特征在于,在测试阶段使用PSNR来衡量预测图像的好坏,PSNR的计算如公式(12)所示:其中 表示预测的下一帧,It+1表示真实的下一帧,N表示像素点个数;考虑到异常数据的分布与多维二阶记忆引导模块的记忆项有较大差异时应判断为异常,异常评价分数如公式(13)所示:其中,St表示异常分数,N(·)表示归一化过程,L′gra表示所述一阶记忆模块的特征损失函数,α和β为可调参数。
7.基于多维二阶记忆引导网络的视频异常检测系统,其特征在于,包括:
异常检测模型训练单元,采用隐式计算方法提取连续帧之间时间维度上的特征,得到初始流动性特征f;对所述初始流动性特征f进行四次维度扩充卷积运算,得到融合后的特征图Ft′;从所述初始流动性特征f和所述特征图Ft′中提取出矫正后的流动性特征,并使用多维二阶记忆引导模块引导流动性特征提取的过程;
异常检测模型测试单元,将整个视频帧输入到异常检测模型中,对视频帧打出异常分数,使用所述异常分数判断视频中是否存在异常。