欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021109673628
申请人: 苏州大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种深度视频行为识别方法,其特征在于,包括以下步骤:

1)将每个行为样本的深度视频进行正面、右侧面、左侧面和顶面投影,获得相应的投影序列;

2)通过计算每个投影序列的动态图像,获得每个行为样本的动态图像;

3)将每个行为样本的动态图像输入特征提取模块并提取特征;

4)将每个行为样本的动态图像所提取到的特征进行连接,并将连接后的特征输入全连接层;

5)构造四流人体行为识别网络;

6)计算每个训练行为样本的深度视频的正面、右侧面、左侧面、顶面投影序列的动态图像,并输入四流人体行为识别网络,训练四流人体行为识别网络至收敛;

7)计算待测试行为样本的每个动态图像,并将计算后的每个动态图像输入训练好的四流人体行为识别网络,实现行为识别。

2.根据权利要求1所述的一种深度视频行为识别方法,其特征在于,所述步骤1)中投影序列的获得方式为:

每个行为样本由该样本的深度视频中的所有帧组成,获取任一行为样本的深度视频,V={It|t∈[1,N]},

R×C

其中,t表示时间索引,N是行为样本的深度视频V的总帧数;It∈ 为行为样本的深度视频V的第t帧深度图像的矩阵表示,R、C分别对应第t帧深度图像的矩阵表示的行数、列数,表示矩阵为实数矩阵;It(xi,yi)=di,表示第t帧深度图像上坐标为(xi,yi)的点pi的深度值,即点pi与深度相机的距离,di∈[0,D],D表示深度相机可以探测到的最远的距离;

行为样本的深度视频V可以表示成投影序列的集合,用公式表达如下:V={Vfront,Vright,Vleft,Vtop},其中,Vfront表示行为样本的深度视频V进行正面投影得到的投影序列,Vright表示行为样本的深度视频V进行右侧面投影得到的投影序列,Vleft表示行为样本的深度视频V进行左侧面投影得到的投影序列,Vtop表示行为样本的深度视频V进行顶面投影得到的投影序列。

3.根据权利要求1所述的一种深度视频行为识别方法,其特征在于,所述步骤2)中的动态图像的计算方式为:

以行为样本的深度视频V的正面投影序列Vfront={Ft|t∈[1,N]}为例,首先对Ft进行向量化,即将Ft的行向量连接成新的行向量it;

对行向量it中的每个元素求算术平方根,得到新的向量wt,即:其中, 表示对行向量it中的每个元素求算术平方根,记wt为行为样本的深度视频V的正面投影序列Vfront的第t帧的帧向量;

计算行为样本的深度视频V的正面投影序列Vfront的第t帧图像的特征向量vt,计算方式如下:

其中, 表示对行为样本的深度视频V的正面投影序列Vfront的第1帧图像到第t帧图像的帧向量求和;

计算行为样本的深度视频V的正面投影序列Vfront第t帧图像Ft的得分Bt,计算公式如下:T

Bt=u·vt,

T T

其中,u为维度为A的向量,A=R×C;u表示对向量u转置;u·vt表示计算对向量u转置后得到的向量与特征向量vt的点积;

计算u的值,使正面投影序列Vfront中帧图像的排序由前到后,得分递增,即t越大,得分Bt越高;u的计算可以使用RankSVM计算,计算方法如下:2

其中, 表示使E(u)的值最小的u,λ为常数,||u||表示计算向量u中每个元素的平方之和;Bc、Bj分别表示行为样本的深度视频V的正面投影序列Vfront第c帧图像的得分、第j帧图像的得分,max{0,1‑Bc+Bj}表示选取0和1‑Bc+Bj中较大的那个值;

R×C

使用RankSVM计算出向量u后,将向量u排列成与Ft相同尺寸的图像形式,得到u′∈ ,u′即为行为样本的深度视频V的正面投影序列Vfront的动态图像。

4.根据权利要求1所述的一种深度视频行为识别方法,其特征在于,所述特征提取模块包括卷积单元1、卷积单元2、卷积单元3、卷积单元4、卷积单元5、多特征融合单元、平均池化层、全连接层1和全连接层2;其中首先将卷积单元1、卷积单元2、卷积单元3、卷积单元4、卷积单元5的输出依次输入至多特征融合单元,再将多特征融合单元的输出M6输入至平均池化层,然后将平均池化层的输出S输入全连接层1,全连接层1的神经元的个数为D1,全连接层1的输出Q1的计算方式如下:

Q1=φrelu(W1·S+θ1),其中,φrelu是relu激活函数,W1是全连接层1的权重,θ1是全连接层1的偏置向量;

全连接层1的输出Q1输入全连接层2,全连接层2的神经元的个数为D2,全连接层2的输出Q2的计算方式如下:

Q2=φrelu(W2·Q1+θ2),其中,W2是全连接层2的权重,θ2是全连接层2的偏置向量,全连接层2的输出即为特征提取模块提取的特征;

将行为样本的深度视频V的正面、右侧面、左侧面、顶面投影序列的动态图像分别输入特征提取模块,提取特征

5.根据权利要求1所述的一种深度视频行为识别方法,其特征在于,所述步骤4)中的特征连接为,将提取到的特征 连接成一个向量,输入激活函数为softmax的全连接层3,全连接层3的输出Q3的计算方式如下:其中,φsoftmax表示softmax激活函数,W3是全连接层3的权重, 表示将特征 连接成一个向量,θ3是全连接层3的偏置向量。

6.根据权利要求1所述的一种深度视频行为识别方法,其特征在于,所述步骤5)构造四流人体行为识别网络为:该网络的输入为行为样本的深度视频的投影序列的动态图像,输出为Q3,网络的损失函数L为,

其中,G是总训练样本数量,K是行为样本类别数, 是第g个行为样本的网络输出,lg是第g个行为样本期望的输出,其中lg的第p维数据定义为:其中,lg是第g个样本的标签值。

7.根据权利要求1所述的一种深度视频行为识别方法,其特征在于,所述步骤7)中行为识别为:计算待测试行为样本的深度视频的正面、右侧面、左侧面、顶面投影序列的动态图像,输入训练好的四流行为识别网络,得到对当前测试行为视频样本所属行为类别预测的概率值,概率值最大的行为类别为最终预测的当前测试行为视频样本所属行为类别。

8.根据权利要求2所述的一种深度视频行为识别方法,其特征在于,所述Vfront投影序列获取方式:

R×C

Vfront={Ft|t∈[1,N]},其中,Ft∈ 表示将动作样本的深度视频V的第t帧深度图像进行正面投影得到的投影图;深度图像中的点pi的横坐标值xi、纵坐标值yi、深度值di分别决定该点投影到投影图Ft中的点的横坐标值 纵坐标值 像素值 可用公式表示为:其中f1为将深度值di映射到[0,255]区间的线性函数,使得深度值越小的点在投影图上的像素值越大,即离深度相机越近的点,在正面投影图上越亮;

Vright投影序列获取方式:

R×D

Vright={Rt|t∈[1,N]},其中,Rt∈ 表示将第t帧深度图像进行右侧面投影得到的投影图;在对深度图像进行右侧面投影时,存在至少一个点被投影到投影图上的同一位置;而从右侧面观察行为,能看到的为距离观察者最近的点,即离投影平面最远的点;保留距离投影平面最远的点在深度图像上的横坐标值,以该横坐标值计算投影图该位置的点的像素值;从深度图像上横坐标x最小的一列开始往x增大的方向逐列遍历深度图像中的点,将其投影到投影图上,深度图像中的点pi的横坐标值xi、纵坐标值yi、深度值di,分别决定投影图Rt中的点的像素值 纵坐标值 横坐标值 用公式表示为:其中f2为将横坐标值xi映射到[0,255]区间的线性函数;当x不断增大,若新的点与之前被投影的点被投影到投影图的同一位置,则保留最新的点,即用横坐标值最大的点的横坐标值计算投影图该位置的像素值,即 其中xm=max xi,xi∈XR,XR为深度图像中所有纵坐标值为 深度值为 的点的横坐标的集合,max xi,xi∈XR表示集合XR中的横坐标的最大值;

Vleft投影序列获取方式:

R×D

Vleft={Lt|t∈[1,N]},其中,Lt∈ 表示第t帧深度图像进行左侧面投影得到的投影图;当有多个点投影到左侧面投影图的同一位置时,保留距离投影平面最远的点;从深度图像上横坐标x最大的一列开始往x减小的方向逐列遍历深度图像中的点,将其投影到左侧面投影图上,深度图像中的点pi的横坐标值xi、纵坐标值yi、深度值di分别决定投影图Lt中的点的像素值 纵坐标值 横坐标值 对于投影到左侧面投影图上同一坐标 处的点,选择横坐标最小的点的横坐标值计算投影图该坐标处的像素值,用公式表示为:其中,f3为将横坐标值xn映射到[0,255]区间的线性函数,xn=min xi,xi∈XL,XL为深度图像中所有纵坐标值为 深度值为 的点的横坐标的集合,min xi,xi∈XL表示集合XL中横坐标最小值;

Vtop投影序列获取方式:

D×C

Vtop={Tt|t∈[1,N]},其中,Ot∈ 表示第t帧深度图像从顶面投影得到的投影图;多个点投影到顶面投影图的同一位置时,保留距离投影平面最远的点;从深度图像上纵坐标y最小的一行开始往y增大的方向逐行遍历深度图像中的点,将其投影到顶面投影图上,深度图像中的点pi的横坐标值xi、纵坐标值yi、深度值di分别决定该点投影到投影图Ot中的点的横坐标值 像素值 纵坐标值 对于投影到投影图上同一坐标 处的点,选择纵坐标最大的点的纵坐标值作为投影图该坐标处的像素值,用公式表示为:其中,f4为将纵坐标值yq映射到[0,255]区间的线性函数,yq=max yi,yi∈YO,其中YO为深度图像中所有横坐标值为 深度值为 的点的纵坐标的集合,max yi,yi∈YO表示集合YO中纵坐标的最大值。

9.根据权利要求4所述的一种深度视频行为识别方法,其特征在于,所述卷积单元1包含2个卷积层和1个最大池化层;每个卷积层有64个卷积核,每个卷积核的大小为3×3,最大池化层的池化核的大小为2×2,卷积单元1的输出为C1;

卷积单元2包含2个卷积层和1个最大池化层,每个卷积层有128个卷积核,每个卷积核的大小为3×3,最大池化层的池化核的大小为2×2,卷积单元2的输入为C1,输出为C2;

卷积单元3包含3个卷积层和1个最大池化层,每个卷积层有256个卷积核,每个卷积核的大小为3×3,最大池化层的池化核的大小为2×2,卷积单元3的输入为C2,输出为C3;

卷积单元4包含3个卷积层和1个最大池化层,每个卷积层有512个卷积核,每个卷积核的大小为3×3,最大池化层的池化核的大小为2×2,卷积单元4的输入为C3,输出为C4;

卷积单元5包含3个卷积层和1个最大池化层,每个卷积层有512个卷积核,每个卷积核的大小为3×3,最大池化层的池化核的大小为2×2,卷积单元5的输入为C4,输出为C5;

多特征融合单元的输入为卷积单元1的输出C1、卷积单元2的输出C2、卷积单元3的输出C3、卷积单元4的输出C4、卷积单元5的输出C5;

卷积单元1的输出C1输入多特征融合单元中的最大池化层1和卷积层1,最大池化层1的池化核的大小为4×4,卷积层1有512个卷积核,卷积核的大小为1×1,卷积层1的输出为M1;

卷积单元2的输出C2输入多特征融合单元中的最大池化层2和卷积层2,最大池化层2的池化核的大小为2×2,卷积层2有512个卷积核,卷积核的大小为1×1,卷积层2的输出为M2;

卷积单元3输入多特征融合单元中的卷积层3,卷积层3有512个卷积核,卷积核的大小为1×1,卷积层3的输出为M3;

卷积单元4的输出C4输入多特征融合单元中的上采样层1和卷积层4,卷积层4有512个卷积核,卷积核的大小为1×1,卷积层4的输出为M4;

卷积单元5的输出C5输入多特征融合单元中的上采样层2和卷积层5,卷积层5有512个卷积核,卷积核的大小为1×1,卷积层5的输出为M5;

将卷积层1的输出M1、卷积层2的输出M2、卷积层3的输出M3、卷积层4的输出M4、卷积层5的输出M5按通道连接,输入卷积层6,卷积层6有512个卷积核,卷积核的大小为1×1,卷积层6的输出为M6;

多特征融合单元的输出为卷积层6的输出为M6。