欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023108871300
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于自进化的弱监督的视频异常检测方法,其特征在于,包括以下步骤:步骤一:获取弱标签的视频集 其中,Vk表示由T个片段构成的第k个视频,yk∈{0,1}表示第k个视频的标签,若yk=1,表示第k个视频中包含异常片段;若yk=0,表示第k个视频全部为正常片段;|D|表示视频的总数;

ab

由弱标签的视频集D中所有标签取值为1的视频构成正包D ;由弱标签的视频集D中所nor有标签取值为0的视频构成负包D ,其中,ab表示含有异常片段,nor表示仅含有正常片段;

nor ab

从负包D 和正包D 中分别选取B/2个视频构成一批视频并输入视频编码器中进行处nor,ab B×T×C理,得到一批视频的I3D特征矩阵F ∈R ;其中,B为批量大小,C为特征维度,T为片段nor,ab nor nor,ab数,且F 中的前B/2个特征为负包特征,记为F ,F 中的后B/2个特征为正包特征,记ab为F ;

nor,ab B×T×C

步骤二:构建深度可分离时间依赖性网络,并对所述I3D特征矩阵F ∈R 进行处理,得到总时间依赖特征将所述总时间依赖特征 输入第一全连接层中进行处理,得到异常检测特征 并继续输入第二全连接层中进行处理,得到第二异常检测特征ab

对第二异常检测特征进行线性归一化处理后,得到异常检测概率向量sc(B×T)×1

∈R ;

步骤三:通过自进化方法对总时间依赖特征 进行处理,得到置信度矩阵W和相似度标签矩阵RL;

根据式(10)构建均方误差损失函数L(RLij,Wij,CSij):式(10)中,Wij表示置信度矩阵W中第i行第j行的置信度;RLij表示似度标签矩阵RL中第i行第j行的相似度标签;CSij为相似度矩阵CS中第i行第j行的元素,表示一批视频中第i个片段与第j个片段的相似度;

根据式(11)构建所述深度可分离时间依赖性网络的自进化损失函数Lse:式(11)中,f(u,s)表示不可信空间逐步压缩函数;u、s为两个阈值;

步骤四:根据相似度标签矩阵RL和置信度矩阵W生成伪标签向量步骤五、构建损失函数:

步骤5.1、根据伪标签向量 利用式(12)构建所述深度可分离时间依赖性网络的交叉熵损失Lce:式(12)中, 表示 中第m个片段的伪标签, 表示中第m个伪标签对应片段为异常的概率,m∈{1,...,2M};

步骤5.2、根据式(13)构建所述深度可分离时间依赖性网络的总体损失L:L=Lce+λ1Lse+λ2Lts+λ3Lsp (13)式(11)中,λ1,λ2,λ3为平衡损失项的三个损失权重;Lts表示时间平滑损失,并由式(14)得到,Lsp表示稀疏性损失,并由式(15)得到;

式(14)和式(15)中, 表示一批视频中第e个片段到第f个片段的异常检测概率组成的序列; 表示第e个片段到第f+1个片段的异常检测概率序列;

步骤六、基于弱标签的视频集 利用梯度下降法对所述深度可分离时间依赖性网络进行训练,并计算所述总体损失L以更新网络参数,直到所述总体损失L收敛为止,从而得到训练好的视频异常检测模型,用于对任意视频进行异常检测。

2.根据权利要求1所述的一种基于自进化的弱监督的视频异常检测方法,其特征在于,所述步骤二的深度可分离时间依赖性网络包括:维度变换模块、深度可分离时序卷积模块和交叉注意力模块;其中,所述维度变换模块包含:两个并联的卷积层,其中一个卷积层后连接深度可分离时序卷积网络模块,另一个卷积层后连接交叉注意力模块;

所述深度可分离时序卷积模块由H个空洞卷积模块串联而成,每个空洞卷积模块均由不同卷积核大小的空洞深度可分离卷积层并联组成,且每个并联的空洞深度可分离卷积层的输出结果拼接后,形成一个空洞卷积模块的输出,且每一个空洞卷积模块的输出作为下一个空洞卷积模块的输入;

nor,ab B×T×C

步骤2.1、将所述I3D特征矩阵F ∈R 输入所述维度变换模块中,并分别经过两个不同卷积层的处理后,得到维度变换后的第一卷积特征 和第二卷积特征步骤2.2、将第一卷积特征 输入到深度可分离时序卷积模块中,并依次经过H个空洞卷积模块的处理,从而利用式(1)得到深度可分离时序卷积模块输出的含有丰富短时依赖性的短时特征式(1)中,α表示权重; 表示第h个空洞卷积模块DSBh输出的第h个空洞卷积特征,且为第h‑1个空洞卷积模块DSBh‑1输出的第h‑1个空洞卷积特征,h∈{1,···,H};

步骤2.3、所述交叉注意力模块对所述短时特征 进行卷积处理,得到降维短时特征 并对第二卷积特征 也进行卷积处理,得到短时卷积特征

所述交叉注意力模块对所述降维短时特征 分别经过两个卷积层处理后,相应得到第一短时卷积特征 和第二短时卷积特征 从而利用式(2)生成注意力图像AM:

式(2)中,T表示转置;

所述交叉注意力模块再利用式(3)得到注意力特征式(3)中,Conv1×1表示卷积核为1×1的卷积操作;

所述交叉注意力模块最后利用式(4)得到全局时间特征步骤2.4、所述深度可分离时间依赖性网络利用式(5)得到总时间依赖特征式(5)中,(·,·)表示拼接。

3.根据权利要求2所述的一种基于自进化的弱监督的视频异常检测方法,其特征在于,所述步骤三包括:步骤3.1、对总时间依赖特征 进行尺度变化后,得到降维后的总时间特征nor,ab (B×T)×C

X ∈R ,从而利用式(6)得到相似度矩阵CM:式(6)中,N表示CM的维度;

步骤3.2、利用式(7)将相似度矩阵CM归一化到(0,1),从而得到相似度矩阵CS:式(7)中,I表示与CM维度相同的全1阵;

步骤3.3、利用式(8)得到相似度标签矩阵RL中第i行第j行的相似度标签RLij:步骤3.4、利用式(9)得到置信度矩阵W中第i行第j行的置信度Wij:

4.根据权利要求3所述的一种基于自进化的弱监督的视频异常检测方法,其特征在于,所述步骤四包括:N/2×N/2

步骤4.1、取相似度标签矩阵RL的右上方区域,记为RQ=RL[N/2:N,0:N/2]∈R ,取置信度矩阵W的右上方区域,记为WQ,从而得到标签原生矩阵Q=RQ·WQ;

步骤4.2、对标签原生矩阵Q求列和后,得到向量QL=colsum(Q),其中,colsum()为求矩M×1阵的列和操作;从QL中删除大于等于0的元素后,得到筛选后的向量QD=del(QL)∈R ,del()为删除操作;M表示QD的长度;

nor nor nor

步骤4.3、将负包D 中所有视频的标签组成异常标签向量Y ,并从Y 中随机筛选出δ个片段的异常标签并组成异常标子向量NL,从而将NL和QD进行拼接后,得到伪标签向量

5.一种电子设备,包括存储器以及处理器,其特征在于,所述存储器用于存储支持处理器执行权利要求1‑4中任一所述视频异常检测方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。

6.一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行权利要求1‑4中任一所述视频异常检测方法的步骤。