1.一种基于多模态多时间尺度的步态识别方法,其特征在于,包括如下步骤:
步骤1、采集步态数据集,所述步态数据集包括若干个行人行走序列的RGB图像;
步骤2、依次从每帧RGB图像中获取行人轮廓图和行人姿态热图并裁剪生成相应的轮廓图序列和姿态热图序列;
步骤3、构建多模态步态识别模型,所述多模态步态识别模型包括用于从轮廓图序列和姿态热图序列中提取轮廓特征图序列和姿态特征图序列的特征提取模块、用于将轮廓特征图序列和姿态特征图序列拼接生成全局步态特征图序列的特征融合模块、用于对每帧全局步态特征图进行水平切分、池化得到局部步态特征块序列的水平池化模块以及通过自注意力网络将所有帧局部步态特征块序列之间同一序列位置的局部特征块建立多时间尺度依赖关系并输出局部步态特征序列的时间建模模块;
步骤4、采集训练样本输入到所述多模态步态识别模型,并利用损失函数训练所述多模态步态识别模型,使得所述多模态步态识别模型得到鲁棒的局部步态特征;
步骤5、测试所述多模态步骤识别模型。
2.根据权利要求1所述的一种基于多模态多时间尺度的步态识别方法,其特征在于,所述步骤2中采用背景差分法从每帧RGB图像中获取行人轮廓图,采用人体姿态估计模型CPM从每帧RGB图像中获取行人姿态热图;所述步骤2中裁剪行人轮廓图和行人姿态热图时将行人处于图像正中的位置,裁剪处宽度为W,高度为H的行人轮廓图和行人姿态热图,组成轮廓图序列和姿态热图序列。
3.根据权利要求1所述的一种基于多模态多时间尺度的步态识别方法,其特征在于,所述特征提取模块包括:轮廓特征提取器和姿态特征提取器,所述轮廓特征提取器、姿态特征提取器均包括依次连接的第一卷积块、第二卷积块、第一Focal_4卷积块、第二Focal_4卷积块、第一Focal_8卷积块、第二Focal_8卷积块,所述第一卷积块包括第一基本2D卷积层;所述第二卷积块包括第二基本2D卷积层和第一最大池化层;所述第一Focal_4卷积块包括第一Focal_4卷积层;所述第二Focal_4卷积块包括第二Focal_4卷积层和第二最大池化层;所述第一Focal_8卷积块包括第一Focal_8卷积层;所述第二Focal_8卷积块包括第二Focal_8卷积层;
所述时间建模模块包括若干个自注意力网络,所述自注意力网络的数量与全局步态特征图水平切分的数量相等;所述自注意力网络包含第一多头注意力层、第二多头注意力层和时间池化层,所述第一多头注意力层和第二多头注意力层均包括Q全连接层、K全连接层、V全连接层和前馈网络全连接层。
4.根据权利要求1所述的一种基于多模态多时间尺度的步态识别方法,其特征在于,所述步骤4训练多模态步态识别模型具体包括:步骤401、采集训练样本,将训练样本随机分成K个样本组,每个样本组包括Pb个行人,每个行人包含Kb个行走序列,其中,同一个人的Kb个行走序列互为正样本;不通过人之间的行走序列互为负样本;
步骤402、将样本组Q输入到多模态步态识别模型中,Q∈[1...K],多模态步态识别模型输出多个行人的多个局部步态特征序列;
步骤403、计算局部步态特征序列之间对应序列位置的局部步态特征的欧式距离;
步骤404、采用损失函数计算样本组中每个样本的损失值:
Loss=ReLU(ξ+Dα,β‑Dα,γ)
式中,Dα,β为特征与正样本局部步态特征之间的欧式距离,Dα,γ为特征与负样本局部步态特征之间的欧式距离,ξ为超参数,含义是欧式距离之间的边缘;
步骤405、根据计算得到的损失值,判断Loss是否收敛不变,若是,则训练结束;若否,采用反向传播算法更新多模态步态识别模型中模块的参数,以减小损失,且Q=Q+1,Q∈[1...K],返回步骤402。
5.根据权利要求1所述的一种基于多模态多时间尺度的步态识别方法,其特征在于,所述步骤5中测试所述多模态步态识别模型具体包括:步骤501、从步态数据集中任意获取行人行走序列,并获取对应的轮廓图序列和姿态热图序列,并将轮廓图序列和姿态热图序列输入到多模态步态识别模型中,输出相应的局部步态特征序列;
步骤502、计算输出的局部步态特征序列与步态数据集中所有局部步态特征序列之间对应序列位置的局部步态特征之间的欧式距离,并对欧式距离从小到大进行排序;
步骤503、若步态数据集中对应欧式距离最小的行人序列与输入的行人序列为同一人,则识别成功;否则,识别失败。