1.一种基于深度视频联动特征的行为识别方法,其特征在于,包括以下步骤:
1)将每个行为样本的深度视频进行正面、右侧面、左侧面和顶面投影,获得相应的投影序列;
2)通过计算每个投影序列的动态图像,获得每个行为样本的动态图像;
3)将每个行为样本的动态图像输入各自的特征提取模块并提取特征;
4)将提取的特征输入多投影联动特征提取模块并提取各投影组合的联动特征;
5)按通道连接提取到的所有投影组合的联动特征,并将连接后的特征输入平均池化层和全连接层;
6)构造基于深度视频联动特征的行为识别网络;
7)将每个训练行为样本的深度视频输入基于深度视频联动特征的行为识别网络,训练网络至收敛;
8)将每个待测试行为样本的深度视频输入训练好的基于深度视频联动特征的行为识别网络,实现行为识别。
2.根据权利要求1所述的一种基于深度视频联动特征的行为识别方法,其特征在于,所述步骤1)中投影序列的获得方式为:每个行为样本由该样本的深度视频中的所有帧组成,获取任一行为样本的深度视频,V={It|t∈[1,N]},
其中,t表示时间索引,N为行为样本的深度视频V的总帧数;It∈R×C为行为样本的深度视频V的第t帧深度图像的矩阵表示,R、C分别对应第t帧深度图像的矩阵表示的行数、列数,表示矩阵为实数矩阵;It(xi,yi)=di,表示第t帧深度图像上坐标为(xi,yi)的点pi的深度值,即点pi与深度相机的距离,di∈[0,D],D表示深度相机可以探测到的最远的距离;
行为样本的深度视频V可以表示成投影序列的集合,用公式表达如下:V={Vfront,Vright,Vleft,Vtop},其中,Vfront表示行为样本的深度视频V进行正面投影得到的投影序列,Vright表示行为样本的深度视频V进行右侧面投影得到的投影序列,Vleft表示行为样本的深度视频V进行左侧面投影得到的投影序列,Vtop表示行为样本的深度视频V进行顶面投影得到的投影序列;
Vfront投影序列获取方式:
Vfront={Ft|t∈[1,N]},其中,Ft∈R×C表示将行为样本的深度视频V的第t帧深度图像正面投影得到的投影图,深度图像中的点pi的横坐标值xi、纵坐标值yi、深度值di分别决定该点投影到投影图Ft中的点的横坐标值 纵坐标值 像素值 可用公式表示为:其中f1为将深度值di映射到[0,255]区间的线性函数,使得深度值越小的点在投影图上的像素值越大,即离深度相机越近的点,在正面投影图上越亮;
Vright投影序列获取方式:
Vright={Rt|t∈[1,N]},其中,Rt∈R×D表示将第t帧深度图像进行右侧面投影得到的投影图;在对深度图像进行右侧面投影时,存在至少一个点被投影到投影图上的同一位置;而从右侧面观察行为,能看到的为距离观察者最近的点,即离投影平面最远的点;保留距离投影平面最远的点在深度图像上的横坐标值,以该横坐标值计算投影图该位置的点的像素值;从深度图像上横坐标x最小的一列开始向x增大的方向逐列遍历深度图像中的点,将其投影到投影图上,深度图像中的点pi的横坐标值xi、纵坐标值yi、深度值di,分别决定投影图Rt中的点的像素值 纵坐标值 横坐标值 用公式表示为:其中f2为将横坐标值xi映射到[0,255]区间的线性函数;当x不断增大,若新的点与之前被投影的点被投影到投影图的同一位置,则保留最新的点,即用横坐标值最大的点的横坐标值计算投影图该位置的像素值,即 其中xm=max xi,xi∈XR,XR为深度图像中所有纵坐标值为 深度值为 的点的横坐标的集合,max xi,xi∈XR表示集合XR中的横坐标的最大值;
Vleft投影序列获取方式:
Vleft={Lt|t∈[1,N]},其中,Lt∈R×D表示第t帧深度图像进行左侧面投影得到的投影图;当有多个点投影到左侧面投影图的同一位置时,保留距离投影平面最远的点;从深度图像上横坐标x最大的一列开始向x减小的方向逐列遍历深度图像中的点,将其投影到左侧面投影图上,深度图像中的点pi的横坐标值xi、纵坐标值yi、深度值di分别决定投影图Lt中的点的像素值 纵坐标值 横坐标值 对于投影到左侧面投影图上同一坐标 处的点,选择横坐标最小的点的横坐标值计算投影图该坐标处的像素值,用公式表示为:其中,f3为将横坐标值xn映射到[0,255]区间的线性函数,xn=min xi,xi∈XL,XL为深度图像中所有纵坐标值为 深度值为 的点的横坐标的集合,min xi,xi∈XL表示集合XL中横坐标最小值;
Vtop投影序列获取方式:
D×C
Vtop={Tt|t∈[1,N]},其中,Ot∈ 表示第t帧深度图像从顶面投影得到的投影图;多个点投影到顶面投影图的同一位置时,保留距离投影平面最远的点;从深度图像上纵坐标y最小的一行开始往y增大的方向逐行遍历深度图像中的点,将其投影到顶面投影图上,深度图像中的点pi的横坐标值xi、纵坐标值yi、深度值di分别决定该点投影到投影图Ot中的点的横坐标值 像素值 纵坐标值 对于投影到投影图上同一坐标 处的点,选择纵坐标最大的点的纵坐标值作为投影图该坐标处的像素值,用公式表示为:其中,f4为将纵坐标值yq映射到[0,255]区间的线性函数,yq=max yi,yi∈YO,其中YO为深度图像中所有横坐标值为 深度值为 的点的纵坐标的集合,max yi,yi∈YO表示集合YO中纵坐标的最大值。
3.根据权利要求1所述的一种基于深度视频联动特征的行为识别方法,其特征在于,所述步骤2)中的动态图像的计算方式为:以行为样本的深度视频V的正面投影序列Vfront={Ft|t∈[1,N]}为例,首先对Ft进行向量化,即将Ft的行向量连接成新的行向量it;
对行向量it中的每个元素求算术平方根,得到新的向量wt,即:其中, 表示对行向量it中的每个元素求算术平方根,记wt为行为样本的深度视频V的正面投影序列Vfront的第t帧的帧向量;
计算行为样本的深度视频V的正面投影序列Vfront的第t帧图像的特征向量vt,计算方式如下:
其中, 表示对行为样本的深度视频V的正面投影序列Vfront的第1帧图像到第t帧图像的帧向量求和;
计算行为样本的深度视频V的正面投影序列Vfront第t帧图像Ft的得分Bt,计算公式如下:T
Bt=u·vt,
T T
其中,u为维度为A的向量,A=R×C;u表示对向量u转置;u·vt表示计算对向量u转置后得到的向量与特征向量vt的点积;
计算u的值,使正面投影序列Vfront中帧图像的排序由前到后,得分递增,即t越大,得分Bt越高;u的计算可以使用RankSVM计算,计算方法如下:2
其中, 表示使E(u)的值最小的u,λ为常数,||u||表示计算向量u中每个元素的平方之和;Bc、Bj分别表示行为样本的深度视频V的正面投影序列Vfront第c帧图像的得分、第j帧图像的得分,max{0,1‑Bc+Bj}表示选取0和1‑Bc+Bj中较大的值;
R×C
使用RankSVM计算出向量u后,将向量u排列成与Ft相同尺寸的图像形式,得到u′∈ ,u′为行为样本的深度视频V的正面投影序列Vfront的动态图像。
4.根据权利要求1所述的一种基于深度视频联动特征的行为识别方法,其特征在于,所述特征提取模块包括卷积单元1、卷积单元2、卷积单元3、卷积单元4、卷积单元5、多特征融合单元;其中将卷积单元1、卷积单元2、卷积单元3、卷积单元4、卷积单元5的输出依次输入至多特征融合单元,最终多特征融合单元输出M6;
卷积单元1包含2个卷积层和1个最大池化层,每个卷积层有64个卷积核,每个卷积核的大小为3×3,最大池化层的池化核的大小为2×2,卷积单元1的输出为C1;
卷积单元2包含2个卷积层和1个最大池化层,每个卷积层有128个卷积核,每个卷积核的大小为3×3,最大池化层的池化核的大小为2×2,卷积单元2的输入为C1,输出为C2;
卷积单元3包含3个卷积层和1个最大池化层,每个卷积层有256个卷积核,每个卷积核的大小为3×3,最大池化层的池化核的大小为2×2,卷积单元3的输入为C2,输出为C3;
卷积单元4包含3个卷积层和1个最大池化层,每个卷积层有512个卷积核,每个卷积核的大小为3×3,最大池化层的池化核的大小为2×2,卷积单元4的输入为C3,输出为C4;
卷积单元5包含3个卷积层和1个最大池化层,每个卷积层有512个卷积核,每个卷积核的大小为3×3,最大池化层的池化核的大小为2×2,卷积单元5的输入为C4,输出为C5;
多特征融合单元的输入为卷积单元1的输出C1、卷积单元2的输出C2、卷积单元3的输出C3、卷积单元4的输出C4、卷积单元5的输出C5。卷积单元1的输出C1输入多特征融合单元中的最大池化层1和卷积层1,最大池化层1的池化核的大小为4×4,卷积层1有512个卷积核,卷积核的大小为1×1,卷积层1的输出为M1;
卷积单元2的输出C2输入多特征融合单元中的最大池化层2和卷积层2,最大池化层2的池化核的大小为2×2,卷积层2有512个卷积核,卷积核的大小为1×1,卷积层2的输出为M2;
卷积单元3的输出C3输入多特征融合单元中的卷积层3,卷积层3有512个卷积核,卷积核的大小为1×1,卷积层3的输出为M3;
卷积单元4的输出C4输入多特征融合单元中的上采样层1和卷积层4,卷积层4有512个卷积核,卷积核的大小为1×1,卷积层4的输出为M4;
卷积单元5的输出C5输入多特征融合单元中的上采样层2和卷积层5,卷积层5有512个卷积核,卷积核的大小为1×1,卷积层5的输出为M5,将卷积层1的输出M1、卷积层2的输出M2、卷积层3的输出M3、卷积层4的输出M4、卷积层5的输出M5按通道连接,输入卷积层6,卷积层6有
256个卷积核,卷积核的大小为1×1,卷积层6的输出为M6,多特征融合单元的输出为卷积层
6的输出为M6;
将行为样本的深度视频V的正面、右侧面、左侧面、顶面投影序列的动态图像分别输入各自的特征提取模块,即正面投影特征提取模块、右侧面投影特征提取模块、左侧面投影特征提取模块、顶面投影特征提取模块,在网络训练时,上述模块之间不共享参数,上述特征f r l t
提取模块分别输出特征Q、Q、Q、Q;
f
其中,Q表示行为样本的深度视频V的正面投影序列的动态图像输入正面投影特征提取r
模块提取到的特征,Q表示右侧面投影序列的动态图像输入右侧面投影特征提取模块提取l
到的特征,Q 表示左侧面投影序列的动态图像输入左侧面投影特征提取模块提取到的特t
征,Q表示顶面投影序列的动态图像输入顶面投影特征提取模块提取到的特征。
5.根据权利要求1所述的一种基于深度视频联动特征的行为识别方法,其特征在于,所述步骤4)中联动特征的提取方式为,将步骤3)中各个特征提取模块提取到的特征每两个进行组合、每三个进行组合、四个进行组合,得到多个投影组合;
计算每个投影组合的联动特征,计算方式如下:H×W×γJ
将投影组合中的特征按通道连接,得到组合特征Q∈ ,其中H、W表示投影组合中每个特征的高和宽,J表示投影组合中每个特征的通道数,γ表示投影组合中特征的个数;分别计算每个投影组合的显式联动特征Zα和每个投影组合的隐式联动特征Zβ;计算投影组合的联动特征Z,计算公式为:
其中 表示矩阵Zα、Zβ对应位置元素相加。
6.根据权利要求1所述的一种基于深度视频联动特征的行为识别方法,其特征在于,所述步骤5)将所有投影组合的联动特征按通道进行特征连接,输入平均池化层,平均池化层的输出Γ输入全连接层2,全连接层2的神经元的个数为D2,全连接层2的输出S2的计算方式如下:
S2=φrelu(W2·Γ+θ2),其中,φrelu是relu激活函数,W2是全连接层2的权重,θ2是全连接层2的偏置向量;
将全连接层2的输出S2输入激活函数为softmax的全连接层3,全连接层3的神经元个数为K,输出S3的计算方式如下:
S3=φsoftmax(W3·S2+θ3),其中,φsoftmax表示softmax激活函数,W3是全连接层3的权重,θ3是全连接层3的偏置向量。
7.根据权利要求1所述的一种基于深度视频联动特征的行为识别方法,其特征在于,所述步骤6)中基于深度视频联动特征的行为识别网络的输入为行为样本的深度视频,输出为相应行为样本属于各个行为类别的概率,即全连接层3的输出Q3,网络的损失函数L为:其中,G是总训练行为样本的数量,K是行为样本类别数, 是第g个行为样本的网络输出,lg是第g个行为样本期望的输出,其中lg的第p维数据定义为:其中,lg是第g个样本的标签值。
8.根据权利要求1所述的一种基于深度视频联动特征的行为识别方法,其特征在于,所述步骤8)中行为识别为:将每个测试行为样本的深度视频输入训练好的基于深度视频联动特征的行为识别网络,得到对当前测试行为视频样本预测的属于各个行为类别的概率值,概率值最大的行为类别为最终预测的当前测试行为视频样本所属行为类别,从而实现行为识别。
9.根据权利要求5所述的一种基于深度视频联动特征的行为识别方法,其特征在于,所述每个投影组合的显式联动特征的计算步骤如下:
1)计算组合特征Q的每个通道的特征的平均值,第a个通道的特征的平均值Qa,计算公式如下:
其中,Qa,h,w表示组合特征Q第a个通道第h行第w列的元素值;
γJ×γJ
2)计算组合特征Q不同通道之间的特征的显式相关程度P∈ ,第a个通道与第b个通a,b
道的特征的显式相关程度P 计算公式如下:其中,Qb,h,w表示组合特征Q第b个通道第h行第w列的元素值, 表示组合特征Q第b个通道的特征的平均值;
3)计算组合特征Q不同通道之间的特征的归一化显式相关程度 第a个通道与第b个通道的特征的归一化相关程度 计算公式如下:H×W×γJ
4)计算该投影组合的显式联动特征Zα∈ ,Zα第a个通道的特征 的计算公式如下:其中,Qb表示组合特征Q第b个通道的特征。
10.根据权利要求5所述的一种基于深度视频联动特征的行为识别方法,其特征在于,所述每个投影组合的隐式联动特征的计算步骤如下:
1)计算组合特征Q的每个通道的平均值,并将所有通道的平均值连接成向量
2)将向量 输入全连接层1,全连接层1的神经元的个数为γJ,全连接层1的输出其中φsigmoid表示sigmoid激活函数, 表示全连接层
1的权重, 表示全连接层1的偏置向量;
3)计算该投影组合的隐式联动特征 Zβ第a个通道的特征 的计算公式如下:
其中 表示全连接层1的输出S1第a个元素的值。