欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2022109026228
申请人: 宁波大学
专利类型:发明专利
专利状态:授权未缴费
专利领域: 计算;推算;计数
更新日期:2025-07-09
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.多尺度特征融合及多种注意力结合的弱监督异常检测方法,其特征在于,包括:步骤1、采集训练视频集,所述训练视频集包括正常视频和异常视频;

步骤2、将正常视频切分成含有T个互不重叠的视频片段的负包 将异常视频切分成含有T个互不重叠的视频片段的正包 每个片段包含c帧连续画面;

n a n a

步骤3、采用I3D卷积网络分别提取正包V 和负包V中每个视频片段的时空特征X和X ;

n a n a

并采用多尺度特征融合网络对正包V和负包V中的时空特征X 、时空特征X分别进行特征n a融合,得到正包的多尺度特征Y和负包的多尺度特征Y;

n a

步骤4、采用多头自注意力机制分别在正包的多尺度特征Y 和负包的多尺度特征Y中加n a入注意力获得加入注意力机制的多尺度特征F和F;

n a

步骤5、采用通道注意力机制分别对加入注意力机制的多尺度特征F 和F进行降维、升n a维、sigmoid函数计算通道注意力权重以及给加入注意力机制的多尺度特征F 和F 每个通道n a赋予权重后得到加入多种注意力机制的多尺度特征Z和Z;

n a

步骤6、采用一个全连接层网络对加入多种注意力机制的多尺度特征Z和Z进行线性回n a n a归,并得到V和V中每个片段的异常分数包S和S;

n a

步骤7、根据异常分数包S和S构建目标损失函数对步骤4至步骤6的参数进行优化。

2.根据权利要求1所述的多尺度特征融合及多种注意力结合的弱监督异常检测方法,n a n其特征在于,所述步骤3中采用多尺度特征融合网络对正包V 和负包V 中的时空特征X 、时a n a空特征X分别进行特征融合,得到正包的多尺度特征Y和负包的多尺度特征Y具体包括:n a

S301、采用m个一维卷积核分别对时空特征X、时空特征X 进行卷积操作,一维卷积核的大小为l,其表达式分别为:n n

Y1=conv1(X,l,m);

a a

Y1=conv1(X,l,m);

n a

步骤302、采用m个一维卷积核分别对时空特征X 、时空特征X再次进行卷积操作,一维卷积核的大小为l′,其表达式分别为:n n

Y2=conv1(X,l′,m);

a a

Y2=conv1(X,l′,m);

步骤303、步骤301卷积输出的特征和步骤302卷积输出的特征与时空特征融合得到多尺度特征,其表达式分别为:n n n n

Y=[X,Y1,Y2];

a a a a

Y=[X,Y1,Y2]。

3.根据权利要求1所述的多尺度特征融合及多种注意力结合的弱监督异常检测方法,n其特征在于,所述步骤4中采用多头自注意力机制分别在正包的多尺度特征Y 和负包的多a n a尺度特征Y中加入注意力获得加入注意力机制的多尺度特征F和F具体包括:n a n a

步骤401、采用一个全连接层将多尺度特征Y和Y分别转化为共享矩阵Y(c)和Y(c);

n a n n n a a a步骤402、通过共享矩阵Y(c)和Y(c)分别生成q、k、v和q、k、v,计算公式为:n Q n

q=WY(c);

n K n

k=WY(c);

n V n

v=WY(c);

a Q a

q=WY(c);

a K a

k=WY(c);

a V a

v=WY(c);

Q K V

式中,W、W、W为权重矩阵;

n n n a a a

步骤403、根据多头自注意力的头的数量,将q、k 、v和q 、k 、v分割成 和n步骤404、将 与 转置相乘,接着采用softmax函数得到自注意力图M ;再将自注意力n n n n图M 与v 转置相乘得到自注意力矩阵q (c);然后进行归一化操作得到多个特征o ,n n最后将多个特征o连接起来得到多尺度特征F ;

a

同理,将 和 转置相乘,接着采用softmax函数得到自注意力图M ;再将自注意力图a a aM 与 转置相乘得到自注意力矩阵q (c);然后进行归一化操作得到多个特征o ,n a最后将多个特征o连接起来得到多尺度特征F。

4.根据权利要求1所述的多尺度特征融合及多种注意力结合的弱监督异常检测方法,其特征在于,所述步骤7中构建目标损失函数为:L=Lrank+Lsparse+Lsmooth式中,Lrank为排序损失函数,Lsmooth为平滑损失函数,Lsparse为改进的稀疏损失函数,其中:Lrank计算公式为:

a n

Lrank=L(S)+L(S)式中, 表示为正包中第i个异常分数, 表示负包中第i个异常分数;

Lsmooth的计算公式为:a 2 a

Lsparse的计算公式为:Lsparse=(mean(S)‑η) ,式中,η为平均分参考值,mean(S)为正包中异常分数的平均分。