欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023109412773
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于特征差异学习的弱监督的视频异常检测方法,其特征在于,包括以下步骤:步骤一:获取带有视频级标签的一段视频,且,当时,表示视频中存在异常事件,当,表示视频中无异常事件;

将视频划分为时间上不重叠的视频片段序列,其中,表示第个视频片段,表示视频片段的数量;

利用特征提取器获取的RGB特征,得到视频片段的初始特征,其中,表示第个视频片段的RGB特征,表示视频片段的特征维度;

步骤二:构建视频异常检测网络,并用于对初始特征进行处理,得到视频V的片段异常得分,其中,表示第个视频片段的异常得分,且;

所述视频异常检测网络包括:细粒度时间特征融合模块、多头交叉注意力模块和片段分类器,并按如下过程进行处理;

步骤2.1、构建所述细粒度时间特征融合模块,依次由个多尺度扩展卷积单元串联组成,其中,多尺度扩展卷积单元由三个具有不同卷积核大小的扩展卷积层并联组成;

将视频片段的初始特征经过的卷积处理,得到降维后的初始特征;

当时,将输入第个多尺度扩展卷积单元中,分别通过三个具有不同卷积核大小、且膨胀率均为的扩展卷积层的处理后,得到的三个卷积结果,再依次通过BatchNorm层和ReLU激活函数的处理,从而生成三个具有不同尺度时间依赖性的特征;

第个多尺度扩展卷积单元将特征进行矩阵拼接后输入Dropout层中,输出第个拼接特征,并将与进行跳连接后,得到第个时间特征表示;

当时,将第个时间特征表示输入所述第个多尺度扩展卷积单元中进行处理,得到第个时间特征表示,从而由第个多尺度扩展卷积单元输出第个时间特征表示,并作为所述细粒度时间特征融合模块最终输出的局部时间增强特征,记为;

步骤2.2、多头交叉注意力模块的处理;

将初始特征和局部时间增强特征分别通过的卷积处理后,得到降维后的初始特征和降维后的增强特征,并输入所述多头交叉注意力模块中,从而利用式(1)-式(3)相应得到第个注意力头的查询、键和值:(1)

(2)

(3)

式(1)-式(3)中,,表示多头交叉注意力模块的注意力头数,表示第个注意力头的第一个全连接层,表示第个注意力头的第二个全连接层,表示第个注意力头的第三个全连接层,表示Layer Norm层;

所述多头交叉注意力模块利用式(4)生成第个注意力头的注意力分布:(4)

式(4)中,表示注意力分布的特征维度;

将个头的注意力分布进行拼接,并通过另一个全连接层进行投影后,与降维后的初始特征进行跳连接,得到多头注意力分布;

所述多头注意力分布依次通过另一个Layer Norm层和一个多层感知机(MLP)的处理后,并与多头注意力分布进行跳连接,从而得到最终的全局时间增强特征;

将局部时间增强特征和全局时间增强特征拼接后通过一个一维卷积层进行特征融合,并与初始特征进行跳连接,从而得到最终的增强特征;

步骤2.3、片段分类器的处理;

将增强特征依次通过第一个全连接层、第一个ReLU激活函数、第一个Dropout层、第二个全连接层、第二个ReLU激活函数、第二个Dropout层的处理后,得到最终的特征映射;

所述特征映射经过一个sigmoid函数的处理后,得到视频V的片段异常得分,其中,表示第个视频片段的异常得分,且;

步骤三:分别将异常视频和正常视频输入所述视频异常检测网络中进行处理,得到:异常视频的增强特征和片段异常得分,正常视频的增强特征和片段异常得分,其中,和表示异常视频中第个片段的增强特征和异常得分,和表示正常视频中第个片段的增强特征和异常得分;

步骤四:利用式(8)构建总体损失函数:

(8)

式(8)中,和分别是排序损失和分类损失的权重因子;表示排序损失函数,表示分类损失函数;

步骤五:利用梯度下降法对所述视频异常检测网络进行训练,并计算总体损失函数,当训练迭代次数达到设定的次数或总体损失函数收敛时,训练停止,从而得到训练后的视频异常检测模型,用于对视频进行异常识别。

2.根据权利要求1所述的基于特征差异学习的弱监督的视频异常检测方法,其特征在于,所述步骤四中的排序损失函数和分类损失函数按如下步骤获得:步骤4.1、利用式(5)得到异常视频的所有片段与随机的正常视频的片段之间的KL散度值,其中,表示异常视频中第个片段与随机的正常视频的片段之间的散度值:(5)

式(5)中,表示异常视频中第个片段的增强特征的第个元素值,表示正常视频中第个片段的增强特征的第个元素值,其中;

步骤4.2、按照步骤4.1的过程,计算正常视频的所有片段与随机的其他正常视频的片段之间的KL散度值,其中,表示正常视频中第个片段与随机的其他正常视频的片段之间的散度值;

步骤4.3、在和中分别选择前个KL散度值最大的片段,分别计算这个片段的KL散度值的平均值,得到异常视频的散度均值和正常视频的散度均值;

步骤4.4、利用式(6)构建基于散度均值的排序损失函数:(6)

式(6)中,是预设的边界;

步骤4.5、利用式(7)构建视频级的分类损失函数:(7)

式(7)中,是用来划分异常得分的边界,是视频的视频级预测标签,并由视频的个KL散度值最大的片段所对应的异常得分的均值计算得到。

3.一种电子设备,包括存储器以及处理器,其特征在于,所述存储器用于存储支持处理器执行权利要求1-2中任一所述视频异常检测方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。

4.一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行权利要求1-2中任一所述视频异常检测所述方法的步骤。