欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023107264461
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于Transformer进行音视频联合场景分类方法,其特征在于:包括,通过利用Transformer单元分为Encoder层面和Decoder层面分别对嘈杂的音频、视频和音视频分别进行早期融合和特征提取;

对融合后的特征表示利用EfficientNetV2_S单元进行视频侧的预训练网络;

通过利用分类单元进行音频特征、视频特征以及音视频联合特征加权求和所得的特征输入到分类器中进行场景分类。

2.如权利要求1所述的一种基于Transformer进行音视频联合场景分类方法,其特征在于:所述Transformer单元包括,对嘈杂的音频和视频分别进行特征提取,在对提取的特征进行早期融合之后再次利用transformer单元进行深层的特征提取;

所述的音频、视频和音视频特征提取包括,通过OpenL3网络获取音频隐层向量、经过EfficientNetV2_S预训练网络获取视频特征向量以及音视频向量拼接后的多模态特征向量输入到Transformer单元中后先进入到Multi‑HeadAttention部分。

3.如权利要求2所述的一种基于Transformer进行音视频联合场景分类方法,其特征在于:所述Encoder层面包括,Transformer单元组成部分Encoder层面,具体步骤如下,首先,将音频信号从原始信号中提取出来利用Transformer单元中Encoder部分进行输入序列转换为高维度表示,将输出结果引入Add&Norm层,进行的操作为:LayerNorm(X+Multi‑HeadAttention(X))

其次,Norm层快速收敛后结果输入FeedForward部分是一个两层的全连接层,第一层的输入为x,使用激活函数为Relu则输出为max(0,x),当x小于0,则输出为0,否则输出为x,进入第二层后不使用激活函数,结果原值输出后循环进入Add&Norm层:LayerNorm(X+FeedForward(X))

得到Encoder部分的输出,输入到Classificationlayer分类单元中完成任务。

4.如权利要求3所述的一种基于Transformer进行音视频联合场景分类方法,其特征在于:所述Decoder层面包括,利用Multi‑HeadAttention层采用Masked操作、利用Attention的K、V矩阵得到输出矩阵;

所述Masked操作包括,遮挡住t时刻之后的每一个特征,将attentionscore设置为0,输入的序列长度为T,Mask矩阵表示为一个大小为(T,T)的上三角矩阵M,其中:M[i,j]=0,i≤j

M[i,j]=‑inf,i>j

其中,‑inf为负无穷,i和j都是序列位置的索引,从1开始编号。

5.如权利要求4所述的一种基于Transformer进行音视频联合场景分类方法,其特征在于:所述K、V矩阵包括如下步骤,首先,利用Attention的K、V矩阵使用Encoder的输出矩阵计算,根据Encoder的输出矩阵计算得到K、V,根据Decoder上一个Add&Norm层的输出计算得到Q;

K、V矩阵Encoder的输出矩阵表示为:

n×d

H∈R

其中,n表示序列长度,d表示每个位置的向量维度,Wk是一个可训练的权重矩阵,dk是自注意力机制中Q、K、V向量的维度,Wv是一个可训练的权重矩阵,dv是自注意力机制中V向量的维度;

其次,Multi‑HeadAttention层输出继续循环Add&Norm层、FeedForward层、Add&Norm层以及Linear层,由Softmax层得到最后输出OutputProbabilities并同时输入到Classificationlayer分类单元中完成任务。

6.如权利要求5所述的一种基于Transformer进行音视频联合场景分类方法,其特征在于:所述EfficientNetV2_S单元包括,具体步骤如下,首先,进行视频侧的预训练网络,其次,将预训练网络为Stage0到Stage7,Operator表示在当前Stage中使用的模块,首先接收视频侧数据并输入到Stage0,得到第一帧图像的特征表示T0,将T0通过Stage1中的Operator进行处理,得到第一帧图像的高层次特征表示T1,将T1通过Stage2中的Operator进行处理,有更多输出通道数得到第一帧图像更高层次的特征表示T2,对于接下来的每一帧图像,通过Stage3至Stage7中的Operator进行依次处理,得到不同抽象级别T3‑T7的特征表示,最后,将每个步距Stride的T0~T7拼接在一起,得到一个三维张量,第一维为时间步长,后两维为特征表示,将三维张量送入Transformer序列模型中进行处理,将Softmax层得到的输出结果OutputProbabilities送入Classificationlayer分类单元进行分类。

7.如权利要求6所述的一种基于Transformer进行音视频联合场景分类方法,其特征在于:所述分类单元包括,在EfficientNetV2_S单元的视频侧的预训练网络集对不同的视频送入Classificationlayer分类单元进行分类,将特征分为A1~A10,将得到的每个类别的特征均值作为这个类别的特征表示,使用聚类算法K‑Means将特征聚类成三个簇,分别代表室内B1、室外B2和交通场所B3;

当所述视频分类为A1被划分为B1类别,则特征向量A1被分配到代表B1场景类别的簇中,并且选择B1簇的中心作为最终的分类结果,并选择簇中心最近的类别作为最终的场景分类结果。

8.一种采用如权利要求1~7任一所述的基于Transformer进行音视频联合场景分类方法的系统,其特征在于:包括,数据预处理模块,特征提取与融合模块,模型训练模块,场景分类模块;

所述数据预处理模块,将音频和视频数据进行预处理,包括数据清洗、数据格式转换;

所述特征提取与融合模块,包含Transformer单元用于提取音频和视频的特征,也用于对早期融合后的特征进行二次特征提取;

所述模型训练模块,包含EfficientNetV2_S单元用于视频侧的预训练网络;

所述场景分类模块,利用Classificationlayer分类单元对网络特征进行分类。

9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。