1.多尺度特征融合及多种注意力结合的弱监督异常检测方法,其特征在于,包括:步骤1、采集训练视频集,所述训练视频集包括正常视频和异常视频;
步骤2、将正常视频切分成含有T个互不重叠的视频片段的负包 将异常视频切分成含有T个互不重叠的视频片段的正包 每个片段包含c帧连续画面;
n a n a
步骤3、采用I3D卷积网络分别提取正包V 和负包V中每个视频片段的时空特征X和X ;
n a n a
并采用多尺度特征融合网络对正包V和负包V中的时空特征X 、时空特征X分别进行特征n a融合,得到正包的多尺度特征Y和负包的多尺度特征Y;
n a
步骤4、采用多头自注意力机制分别在正包的多尺度特征Y 和负包的多尺度特征Y中加n a入注意力获得加入注意力机制的多尺度特征F和F;
n a
步骤5、采用通道注意力机制分别对加入注意力机制的多尺度特征F 和F进行降维、升n a维、sigmoid函数计算通道注意力权重以及给加入注意力机制的多尺度特征F 和F 每个通道n a赋予权重后得到加入多种注意力机制的多尺度特征Z和Z;
n a
步骤6、采用一个全连接层网络对加入多种注意力机制的多尺度特征Z和Z进行线性回n a n a归,并得到V和V中每个片段的异常分数包S和S;
n a
步骤7、根据异常分数包S和S构建目标损失函数对步骤4至步骤6的参数进行优化。
2.根据权利要求1所述的多尺度特征融合及多种注意力结合的弱监督异常检测方法,n a n其特征在于,所述步骤3中采用多尺度特征融合网络对正包V 和负包V 中的时空特征X 、时a n a空特征X分别进行特征融合,得到正包的多尺度特征Y和负包的多尺度特征Y具体包括:n a
S301、采用m个一维卷积核分别对时空特征X、时空特征X 进行卷积操作,一维卷积核的大小为l,其表达式分别为:n n
Y1=conv1(X,l,m);
a a
Y1=conv1(X,l,m);
n a
步骤302、采用m个一维卷积核分别对时空特征X 、时空特征X再次进行卷积操作,一维卷积核的大小为l′,其表达式分别为:n n
Y2=conv1(X,l′,m);
a a
Y2=conv1(X,l′,m);
步骤303、步骤301卷积输出的特征和步骤302卷积输出的特征与时空特征融合得到多尺度特征,其表达式分别为:n n n n
Y=[X,Y1,Y2];
a a a a
Y=[X,Y1,Y2]。
3.根据权利要求1所述的多尺度特征融合及多种注意力结合的弱监督异常检测方法,n其特征在于,所述步骤4中采用多头自注意力机制分别在正包的多尺度特征Y 和负包的多a n a尺度特征Y中加入注意力获得加入注意力机制的多尺度特征F和F具体包括:n a n a
步骤401、采用一个全连接层将多尺度特征Y和Y分别转化为共享矩阵Y(c)和Y(c);
n a n n n a a a步骤402、通过共享矩阵Y(c)和Y(c)分别生成q、k、v和q、k、v,计算公式为:n Q n
q=WY(c);
n K n
k=WY(c);
n V n
v=WY(c);
a Q a
q=WY(c);
a K a
k=WY(c);
a V a
v=WY(c);
Q K V
式中,W、W、W为权重矩阵;
n n n a a a
步骤403、根据多头自注意力的头的数量,将q、k 、v和q 、k 、v分割成 和n步骤404、将 与 转置相乘,接着采用softmax函数得到自注意力图M ;再将自注意力n n n n图M 与v 转置相乘得到自注意力矩阵q (c);然后进行归一化操作得到多个特征o ,n n最后将多个特征o连接起来得到多尺度特征F ;
a
同理,将 和 转置相乘,接着采用softmax函数得到自注意力图M ;再将自注意力图a a aM 与 转置相乘得到自注意力矩阵q (c);然后进行归一化操作得到多个特征o ,n a最后将多个特征o连接起来得到多尺度特征F。
4.根据权利要求1所述的多尺度特征融合及多种注意力结合的弱监督异常检测方法,其特征在于,所述步骤7中构建目标损失函数为:L=Lrank+Lsparse+Lsmooth式中,Lrank为排序损失函数,Lsmooth为平滑损失函数,Lsparse为改进的稀疏损失函数,其中:Lrank计算公式为:
a n
Lrank=L(S)+L(S)式中, 表示为正包中第i个异常分数, 表示负包中第i个异常分数;
Lsmooth的计算公式为:a 2 a
Lsparse的计算公式为:Lsparse=(mean(S)‑η) ,式中,η为平均分参考值,mean(S)为正包中异常分数的平均分。