1.一种基于多重文本提示的弱监督视频异常检测方法,其特征在于,包括以下步骤:S1、获取带有视频级标签y和类别文本标签的一个视频V,且,当y=1时,表示视频V中存在异常事件,当y=0时,表示视频V中不存在异常事件;
将视频V划分为时间上不重叠的T个片段,其中,表示第t个视频片段,T为视频片段的数量;
利用CLIP模型的图像编码器获取的CLIP特征,得到视频片段的初始特征集,其中,表示第t视频片段的CLIP特征,D表示片段特征的维度;
S2、构建异常检测网络,包括:全局-局部时间依赖性网络,多重文本提示网络,跨模态融合网络;
其中,所述全局-局部时间依赖性网络由自注意力分支和片段注意力分支组成;
所述多重文本提示网络由知识图谱提取模块、可学习提示模块和CLIP模型的文本编码器组成;
所述跨模态融合网络由余弦相似度计算模块,平均池化层和片段聚合模块组成;
S21、将输入异常检测网络中,并通过全局-局部时间依赖性网络中的自注意力分支的处理后,获得各视频片段间的全局时间依赖特征向量;
同时,通过片段注意力分支的自适应局部掩码和投影处理后,获得自适应局部时间依赖特征向量;
将与进行自适应融合后,得到时间增强后的片段特征集,其中,代表第t帧增强后的片段特征;
由时间增强后的片段特征的异常得分与视频级标签y构建分类损失;
S22、将类别文本标签输入到多重文本提示网络中,并经过知识图谱提取模块的处理后,得到与相近的概念作为补充提示;
将待学习的文本提示向量作为前缀与结合后,与补充提示分别输入到CLIP模型的文本编码器中进行处理,分别获得待学习的提示特征向量和概念提示向量;
S23、将和输入到跨模态融合网络中,计算和之间的余弦相似度,得到视觉-文本相似度矩阵,再对依次进行Softmax操作和平均池化后,得到片段的显著性分数矩阵;
由和聚合后,得到概念提示增强后的视频特征向量;
由和构建对称交叉熵损失;
S3、利用式(1)构建总体损失函数:
(1)
式(1)中,和是超参数;是跨模态对比损失;
S4、利用梯度下降法对所述异常检测网络进行训练,并计算所述总体损失函数以更新网络参数,直至总损失函数收敛或达到最大训练次数为止,从而得到训练后的最优异常检测模型;
S5、将测试视频输入至训练后的最优异常检测模型中进行处理,输出每个片段的异常得分;当某一片段的异常得分高于预设的阈值时,表示相应片段中存在异常事件。
2.根据权利要求1所述的基于多重文本提示的弱监督视频异常检测方法,其特征是,所述步骤S21中的自注意力分支利用3个不同的线性层将投影到同一个潜在空间中,得到查询特征集Q、键特征集K和值特征集U,然后对Q和K进行点积运算后,再进行softmax操作,得到注意力图;将进行动态位置编码后,再与U相乘,从而得到全局时间依赖特征向量;
片段注意力分支利用自适应最大池化和自适应平均池化分别对进行处理后,得到的2个池化特征集送入一个共享的多层感知机MLP中学习,相应得到2个浅层特征集;
2个浅层特征集经过Add操作和Sigmoid激活函数的映射后,得到片段注意力权重矩阵;
将与所设定的参数相乘后,得到片段的自适应掩码矩阵,并将其投影到注意力图上,获得局部注意力图;
将和U相乘后,得到自适应局部时间依赖特征向量。
3.根据权利要求1所述的基于多重文本提示的弱监督视频异常检测方法,其特征是,所述步骤S22中的知识图谱提取模块根据检索关系来检索与相关的概念,并选择相关联分数最大的若干个概念后,输入到CLIP模型的文本编码器中进行特征提取,得到概念特征向量;
将输入CLIP模型的Tokenizer标记转换器中类标记的转化后,再嵌入到m个待学习的提示向量中,从而形成完整的句子标记,最后,将输入到CLIP 的文本编码器中进行特征提取,得到待学习的提示特征向量,其中,表示第m个待学习的提示向量。
4.根据权利要求1所述的基于多重文本提示的弱监督视频异常检测方法,其特征是,所述步骤S23中是以为锚点,分别计算和之间的双向相似性得分和,用于构建对称交叉熵损失。
5.根据权利要求1所述的基于多重文本提示的弱监督的视频异常检测方法,其特征是,所述S3中的跨模态对比损失是按如下过程构建:S3.1、计算概念提示增强后的异常视频特征向量和待学习的异常提示特征向量之间的余弦相似度;
S3.2、计算概念提示增强后的异常视频特征向量和概念提示增强后的正常视频特征向量之间的余弦相似度;
S3.3、计算概念提示增强后的正常视频特征向量和待学习的正常提示特征向量之间的余弦相似度;
S3.4、计算概念提示增强后的正常视频特征向量和待学习的异常提示特征向量之间的余弦相似度;
S3.5、由、、和构建所述跨模态对比损失。
6.根据权利要求5所述的基于多重文本提示的弱监督视频异常检测方法,其特征是,所述S3.5中利用式(2)构建跨模态对比损失:(2)
式(2)中,B表示视频的总个数,是余弦相似度,和分别为第b个视频Vb所对应的概念提示增强后的异常视频特征向量和待学习的异常提示特征向量,和分别第b个视频Vb所对应的概念提示增强后的正常视频特征向量和待学习的正常提示特征向量。
7.根据权利要求2所述的基于多重文本提示的弱监督视频异常检测方法,其特征是,使用自注意力分支是利用式(3)对进行动态位置编码,从而得到编码后的注意力图:(3)
式(6)中,和是视频V中任意两个视频片段之间的绝对位置,和是待学习的权重和偏差项。
8.根据权利要求1所述的基于多重文本提示的弱监督视频异常检测方法,其特征是,所述S21中是利用式(4)对与进行自适应融合:(4)
式(5)中,表示自适应融合特征向量,并由式(6)得到,是归一化操作,是线性层,是层归一化层,+表示残差连接;
(5)
式(5)中,是待学习因子。
9.一种电子设备,包括存储器以及处理器,其特征在于,所述存储器用于存储支持处理器执行权利要求1-7中任一所述弱监督视频异常检测方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。
10.一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行权利要求1-7中任一所述弱监督视频异常检测方法的步骤。