1.一种基于局部和全局注意力机制的视频动作识别方法,其特征在于,在浅层中利用三维深度卷积来减少计算负担,并利用卷积提供局部连接和平移方差,在每个像素周围的小空间窗口内应用自注意机制,在深层中使用全局自注意力来构建,使用空间和通道的注意力来捕获全局交互作用,通过以分层的方式逐步集成块,建立视频动作识别骨干网络,具体包括以下步骤:
1)设计一个局部建模模块,在非重叠窗口内局部计算自注意,该窗口划分了一个标记映射,它从小的三维领域的局部时空上下文中提取特征,所述局部建模模块包括第一深度三维卷积层、第一维度重置层、第一线性块、多个第一线性层、第二线性层、第二维度重置层、第一批归一化层、第二深度三维卷积层、第三深度三维卷积层、第一激活函数以及第四深度三维卷积层;
2)在局部建模模块中嵌入卷积前馈神经网络,用于捕获局部连续性和位置信息;
3)设计一个全局建模模块,在像素级标记上应用注意力机制,每个转置的标记都抽象全局信息,所述全局建模模块包括第五深度三维卷积层、第三维度重置层、第二线性块、多个第三线性层、第四线性层、第四维度重置层、第五线性层、第二批归一化层、第五维度重置层、第六深度三维卷积层、第六维度重置层、第六线性层、第二激活函数以及第七线性层;
4)在全局建模模块中嵌入跳跃连接的卷积层,组成基于卷积神经网络和Transformer的网络LGATNet,所述LGATNet包括第一块嵌入层、所述局部建模模块、第二块嵌入层、所述局部建模模块、第三块嵌入层、所述全局建模模块、第四块嵌入层、所述全局建模模块以及分类层;
5)不使用预训练,LGATNet在动作识别的公开数据集上进行模型参数学习,并在测试集输出对应的测试结果。
2.如权利要求1所述的基于局部和全局注意力机制的视频动作识别方法,其特征在于,给定一个由大小的标记和大小的三维窗口组成的特征映射,其中窗口以不重叠的方式均匀地划分输入,即输入标记被划分为个不重叠的三维窗口,并在每个窗口中部署多头注意力,给定一个维的视觉特征,其中是总的切块数,是总通道数,假设有个不同窗口,每个窗口包含个切块,其中,首先,每个头部的注意力定义为:,
其中,,是输入的线性投影,表示的投影权重,由于在浅层中较大,导致较高的计算消耗,因而设计窗口注意力为,
其中,,是输入的线性投影。
3.如权利要求1所述的局部和全局注意力机制的视频动作识别方法,其特征在于,在第一个全连接层和激活函数GELU之前添加一个核大小为,填充大小为1并包含跳跃连接的卷积层,用于捕获特征的局部连续性和位置信息。
4.如权利要求1所述的基于局部和全局注意力机制的视频动作识别方法,其特征在于,定义空间注意力为:,
其中,,是输入的线性投影,定义通道注意力为:
,
其中,,是输入的线性投影,接着,融合空间注意和通道注意为:
。
5.如权利要求1所述的基于局部和全局注意力机制的视频动作识别方法,其特征在于,在第一个全连接层之前添加一个核大小为,填充大小为1并包含跳跃连接的卷积层,组成基于卷积神经网络和Transformer的网络LGATNet。
6.如权利要求1所述的基于局部和全局注意力机制的视频动作识别方法,其特征在于,LGATNet不在大规模数据集ImageNet上进行预训练,仅在数据集Kinetics400进行训练,并将其迁移到数据集Something-Something V1&V2进行微调和测试,以验证其动作识别性能。