1.一种基于深度学习的视频行为识别方法,其特征在于,包括:S1.给定一个彩色输入视频,首先将其划分为T个等时长的片段,其中T为正整数,从每个片段中随机采样一帧,以获得具有T帧的输入序列;
S2.将处理后的帧图像输入到深度学习模型中,得到经过深度学习模型处理后的特征;
S3.将处理后的特征经过归一化并对时间维度求平均,得到对视频行为的分类;
其中,所述深度学习模型为差分增强网络,所述差分增强网络的基础网络为ResNet50,所述ResNet50内嵌入差分增强模块。
2.如权利要求1所述的基于深度学习的视频行为识别方法,其特征在于,所述差分增强模块是通过残差块的形式实现的,所述残差块的残差函数为xn+1=xn+CS(xn,Wn),其中CS(xn,Wn)是差分增强部分。
3.如权利要求2所述的基于深度学习的视频行为识别方法,其特征在于,所述差分增强模块的方法步骤为:先对xn沿时间维求差得到差分特征,再对差分特征分别做空间注意力激活和通道注意力激活,然后将做完注意力激活的差分特征和xn做点乘以实现对xn中运动信息的增强。
4.如权利要求1所述的基于深度学习的视频行为识别方法,其特征在于,所述差分增强模块利用时间差信息,从时空和通道两个维度实现了对运动信息的增强,而且,所述差分增强模块被嵌入到了2D卷积神经网络中,从而使得所述深度学习模型具有时空信息提取能力。
5.如权利要求1所述的基于深度学习的视频行为识别方法,其特征在于,所述ResNet50具体生成方法如下:使用一个7×7的卷积层提取图像特征,由大小为[NT,3,224,224]的帧图像得到大小为[NT,64,112,112]的特征图;再通过一个下采样的最大池化层得到大小为[NT,64,56,56]的特征图,然后将得到的特征图依次通过conv2至conv5得到大小为[NT,64,
7,7]的特征图,最后将得到的特征图经过平均池化再馈送到全连接层得到NT×CLS的特征,其中CLS代表视频行为的分类数。
6.如权利要求5所述的基于深度学习的视频行为识别方法,其特征在于,所述ResNet50的conv2至conv5使用的是瓶颈构建块,所述瓶颈构建块的残差函数为xn+1=xn+F(xn,Wn),其中F(xn,Wn)是残差部分,由三个卷积操作构成。
7.如权利要求1所述的基于深度学习的视频行为识别方法,其特征在于,步骤S3中对输入特征进行softmax归一化操作,softmax定义为:
8.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1到7任一项所述方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1到7任一项所述方法的步骤。
10.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1到7任一项所述的方法。