欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023106339348
申请人: 南通大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2025-12-26
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于时空记忆引导网络的视频异常检测方法,其特征在于,包含测试阶段和训练阶段:在训练阶段,构建视频异常检测模型,模型中包含自动编码器和记忆模块;将正常行为的视频帧输入视频异常检测模型中,通过自动编码器中的编码器输出多维特征序列,将所述多维特征序列输入记忆模块,记忆模块计算出多维特征序列中的低维特征之间的时空关系信息,以记忆模块的记忆项为载体对时空关系信息进行读取和更新,并使用一个不确定性函数优化记忆模块更新中涉及的损失函数的权重平衡;通过记忆模块引导后得到时序强相关特征,将时序强相关特征输入自动编码器中的解码器,预测出下一视频帧,更新视频异常检测模型;

在测试阶段,将测试视频帧输入到训练好的视频异常检测模型中,通过异常分数计算判断测试视频是否存在异常;

所述记忆模块计算出多维特征序列中的低维特征之间的时空关系信息的过程包含:在t时刻,记忆模块将多维特征序列保持原尺寸大小并沿着通道维度展开成序列Seq1,将Seq1与三个参数矩阵Wq、Wk、Wv相乘,得到包含三个特征向量qi、ki、vi的序列Seq2,其中qi为时序相关性查询项,ki为时序相关性匹配向量,vi则是Seq1中第i个元素往下传递的特征信息;将Seq1中第i个元素的qi与其他元素的时序相关性匹配向量做点积运算计算得到初始相关性分数,如下公式所示:cij=qikj

其中,cij表示时刻t第i个元素与其他元素j计算得出的初始相关性分数,为记忆模块的读取项;

当元素i与其他所有元素完成相关性计算后,所有cij组成初始相关性序列Seq3,i;在训练阶段,所有序列使用同样的参数矩阵Wq、Wk、Wv进行并行计算;

所述以记忆模块的记忆项为载体对时空关系信息进行读取和更新以及通过记忆模块引导后得到时序强相关特征的过程包含:记忆模块对初始相关性序列Seq3,i进行读取;将读取项cij与记忆模块中的各个存储记忆项进行比较,比较的步骤首先计算读取项cij与记忆模块中的各个存储记忆项之间的欧式距离,如下公式所示:其中,dl2表示欧氏距离,cm为存储记忆项存储的相关性分数;

当序列Seq3,i中所有元素与存储记忆项计算过欧氏距离后,欧式距离最短的存储记忆项为cij的最佳匹配存储记忆项cm_out,将最佳匹配存储记忆项组合为最佳匹配序列将最佳匹配存储记忆项cm_out与cij进行相加操作得到规范后的相关性信息c′ij;

代表规范后的相关性信息c′ij的向量除以序列Seq1中每个元素的共同维度d,并且施加一个Softmax操作后,得到Seq1中元素i对所有元素的最终相关性分数sij,计算公式如下所示:最终相关性分数sij组成序列Seq4,i;将Seq4,i中的元素与Seq2中的各个vi一一对应,进行加权求和,计算公式如下所示:其中ei为记忆模块引导后得到的时空强相关特征,sij为最终相关性分数,vj为编码器输出的多维特征序列中的向量,n为编码器输出的多维特征序列的通道数;所有ei组成了序列Seqout,将Seqout作为解码器的输入。

2.根据权利要求1所述的基于时空记忆引导网络的视频异常检测方法,其特征在于:所述自动编码器包含编码器和解码器,编码器输出特征维度和输入解码器的特征维度与输入视频帧和预测视频帧的维度相对应;编码和解码过程分别对应四次逐层降维和升维的操作,每次维度改变之前都会进行两次卷积操作;具有相同维度的编码层和解码层之间施加跳跃连接操作,用来弥补深层卷积造成的信息丢失。

3.根据权利要求2所述的基于时空记忆引导网络的视频异常检测方法,其特征在于,优化记忆模块更新中涉及的损失函数的权重平衡的过程包含:当计算完读取记忆项与所有存储记忆项之间的欧氏距离得到最佳匹配存储记忆项cm_out后,最小化cm_out与读取项cij之间的欧氏距离,得到时序特征收缩损失L1,如下式所示:使用时序特征分离损失L2来阻止第二匹配存储记忆项与最佳匹配存储记忆项过于相似,时序特征分离损失L2的计算公式如下所示:其中cm_out为最佳匹配存储记忆项,cm_sec为第二匹配存储记忆项;

使用一个同质不确定性函数L3来优化L1和L2之间的权重,如下公式所示:其中,σ1、σ2表示可学习参数;

最小化预测帧与目标帧It+1之间欧氏距离,得到预测损失Lpre如下公式所示:根据L3和Lpre得到目标损失函数Ltotal,如下式所示:

Ltotal=Lpre+λL3

其中λ为可调参数。

4.根据权利要求3所述的基于时空记忆引导网络的视频异常检测方法,其特征在于,所述异常分数的计算方法为:衡量重建图像质量的峰值信噪比计算公式如下所示:

其中,PSNR(·)表示峰值信噪比,It+1表示t+1时刻的真实视频帧,表示t+1时刻的预测视频帧,表示的最大像素值,N表示一个视频帧图像中所包含的像素点总数;

当测试时,保持训练后的记忆项不变,异常事件发生时的时序特征与记忆项存储的正常事件的时序特征不同,差异表示为St,St的计算公式如下所示:其中,cm_out表示最佳匹配存储记忆项,cij表示读取项,m表示读取项的个数;

分别将峰值信噪比和St进行异常评分标准化后,得到异常分数Stotal(t)的计算公式如下所示:其中N(·)表示异常评分标准化操作,w1和w2为可调参数。

5.一种电子设备,其包括存储器、处理器和存储在存储器中可供处理器运行的程序指令,其特征在于,所述处理器执行所述程序指令以实现权利要求1-4任一项所述方法的步骤。