1.一种基于融合特征的视频行为识别方法,包括以下步骤:
步骤1:输入训练视频集并进行采样,得到兴趣点;
步骤2:对兴趣点进行特征提取,得到视觉特征和位置特征(x,y,t);
步骤3:对位置特征进行规范化处理,使得输入的任意视频的位置特征均在统一范围内;
步骤4:利用k均值分别对兴趣点的视觉特征和位置特征进行聚类,得到相应的视觉词典和位置词典;
步骤5:将视觉特征根据对应的视觉词典进行改进的聚合局部描述符编码得到视觉向量;
步骤6:为每个兴趣点分配一个残差特征和一个组特征,然后对这两个特征依据位置词典的划分方式进行聚类、编码得到相应的残差向量和组特征向量;
步骤7:将第5步得到的残差向量和组特征向量进行串联得到位置向量;
步骤8:将第5步的视觉向量和第7步的位置向量进行串联得到视频的全局表示向量;
步骤9:对第7步得到的全局表示向量进行归一化处理并将其与自身串联得到视频的规范后的视频表示向量;
步骤10:将第9步得到的视频表示向量用于线性SVM,训练并得到分类器。
2.如权利要求1所述的一种基于融合特征的视频行为识别方法,其特征在于:步骤5所述的改进的聚合局部描述符编码的策略是在传统的聚合局部描述符编码的基础之上对编码系数求均值,并强化聚类中心的表达作用; 即在该策略中,视觉单词的编码系数为该视觉单词与其包含的所有视觉特征的差值之和的均值加上该视觉单词与其最相似的视觉特征的差值。
3.如权利要求1所述的一种基于融合特征的视频行为识别方法,其特征在于:步骤6所述的编码考虑到残差特征传递的是兴趣点的视觉特征与其所属聚类中心的差值,以及组特征传递的是兴趣点基于视觉特征相似性的分类信息,存在多个兴趣点的组特征相同的情况,所以编码时采取简化的改进聚合描述符编码策略,即每个视觉单词的编码系数为该视觉单词与其包含的所有视觉特征的差值之和的均值。
4.如权利要求1所述的一种基于融合特征的视频行为识别方法,其特征在于:步骤9所述的归一化处理采用如下四种方式中的一种:(1)方式1:对特征集、词典、单个样本特征及编码向量均做L2正则和Power Normalization处理;
(2)方式2:对词典、单个样本特征及编码向量做L2正则和Power Normalization处理;
(3)方式3:只对编码向量做L2正则和Power Normalization处理;
(4)方式4:只对编码向量做L2正则。
5.如权利要求1所述的一种基于融合特征的视频行为识别方法,其特征在于:步骤1所述的兴趣点的提取和描述方法为STIP,STIP方法是稀疏采样,步骤2所述的视觉特征包括STIP方法提取到的兴趣点特征HOG和HOF。
6.如权利要求1所述的一种基于融合特征的视频行为识别方法,其特征在于:步骤1所述的兴趣点的提取和描述方法为IDT,IDT方法是稠密采样,步骤2所述的视觉特征包括IDT方法提取到的兴趣点特征HOG、HOF和MBH。
7.如权利要求1所述的一种基于融合特征的视频行为识别方法,其特征在于:步骤6所述的残差特征定义为该兴趣点的视觉特征和其所属聚类中心的残差。
8.如权利要求1所述的一种基于融合特征的视频行为识别方法,其特征在于:步骤6所述的组特征定义为该兴趣点在生成视觉词典时所属的聚类中心类别。