1.一种基于阶段特征融合的视频行为识别方法,其特征在于,包括以下步骤:步骤1、对待识别视频进行视频切片,得到K段视频;
步骤2、对每段视频的视频帧进行采样;将每段视频采样得到的视频帧按比例输入至Slow通道和Fast通道,提取每段视频的时空特征;
步骤3、通过邻域特征融合的方法,基于每段视频的时空特征,使用预测函数获取K段视频的K个预测得分;
步骤4、对K个预测得分进行聚合,得到待识别视频的预测得分;依据待识别视频的预测得分,得到待识别视频的识别结果;
所述步骤3中,K个预测得分包括第一段视频的初步预测得分和剩下的K-1段视频的K-1个阶段性预测得分;
邻域特征融合的方法具体为:
依据第一段视频的时空特征,通过预测函数直接得到初步预测得分;
从第二段视频开始,每段视频得到的时空特征都分别与前面所有段视频的时空特征进行特征矩阵拼接,再经过预测函数得到阶段性预测得分;
基于损失函数,使用反向传播算法,对预测函数的参数进行优化迭代;所述损失函数表示为:其中C为动作分类的类别数,yi为第i类动作的置信度,Gi为第i类动作的阶段一致性函数得到的值,Gj为第j类动作的阶段一致性函数得到的值,Gi可表示为:
2.根据权利要求1所述的一种基于阶段特征融合的视频行为识别方法,其特征在于,所述步骤2中,使用非对称稀疏采样方法,对每段视频的视频帧进行采样。
3.根据权利要求1所述的一种基于阶段特征融合的视频行为识别方法,其特征在于,所述步骤3中,预测函数为Softmax函数。
4.根据权利要求1所述的一种基于阶段特征融合的视频行为识别方法,其特征在于,所述步骤4中,使用分段共识函数对K个预测得分进行聚合。
5.根据权利要求1所述的一种基于阶段特征融合的视频行为识别方法,其特征在于,所述步骤4中,所述待识别视频的预测得分包括每种行为标签的预测得分,以每种行为标签的预测得分为置信度,选取置信度最高的行为标签对应的行为类别,作为待识别视频的识别结果。
6.一种基于权利要求1-5任一项所述阶段特征融合的视频行为识别方法的TSF网络结构,其特征在于,包括以下部分:视频切片模块,用于对待识别视频进行视频切片,得到K段视频;
时空特征提取模块,用于对每段视频的视频帧进行采样;将每段视频采样得到的视频帧按比例输入至Slow通道和Fast通道,提取每段视频的时空特征;
预测模块,用于通过邻域特征融合的方法,使用预测函数获取K个预测得分;
聚合模块,用于对K个预测得分进行聚合,得到待识别视频的预测得分;依据待识别视频的预测得分,得到待识别视频的识别结果。