1.一种多模态的人体步态情感识别方法,其特征在于:具体识别步骤如下:步骤S1:通过头戴式VR设备刺激被测者产生e种情感,利用穿戴在被测者腿部的n个惯性传感器节点和头部的m个脑电传感器节点,采集v个被测者的惯性步态情感数据和脑电步态情感数据;
步骤S2:使用滑动窗口法对每个传感器节点所采集的惯性步态情感数据和脑电步态情感数据分别按照固定间隔进行分割处理,以获得全部的惯性步态情感样本和脑电步态情感样本;
步骤S3:通过快速傅里叶变换法将步骤S2中得到的惯性步态情感样本转换为频域表示,以获得惯性步态情感图像;通过小波连续变换法将步骤S2中得到的脑电步态情感样本转换为时频域表示,以获得脑电步态情感图像;
步骤S4:将步骤S3中得到的惯性步态情感图像和脑电惯性步态情感图像分别划分为训练数据和测试数据,利用训练数据进行模型训练和参数优化,以获得基于通道注意力机制的卷积神经网络模型;
步骤S5:通过步骤S4得到的基于通道注意力机制的卷积神经网络模型,提取步骤S3中得到的惯性步态情感图像的特征,以获得惯性步态情感特征矩阵,提取步骤S3中得到的脑电步态情感图像的特征,以获得脑电步态情感特征矩阵;
步骤S6:将步骤S5中得到的惯性步态情感特征矩阵和脑电步态情感特征矩阵进行特征融合处理,以获得融合步态情感特征矩阵;
步骤S7:将步骤S5中得到的惯性步态情感特征矩阵和脑电步态情感特征矩阵、步骤S6中得到的融合步态情感特征矩阵分别作为全连接分类器的输入,以获得对应的预测标签,建立相应的决策层融合机制,进行人体步态情感识别。
2.根据权利要求1所述的一种多模态的人体步态情感识别方法,其特征在于:所述步骤S2具体步骤包括:S2.1:使用滑动窗口法对每个被测者穿戴的n个惯性传感器节点和m个脑电传感器节点所采集的惯性步态情感数据和脑电步态情感数据分别分割成多个相同长度的惯性步态情感数据片段和脑电步态情感数据片段,每个步态情感数据片段作为一个样本,以获得全部的惯性步态情感样本和脑电步态情感样本;
S2.2:滑动窗口法中的参数包含窗口大小和滑动步长,设窗口大小为len,两个相邻窗口之间的滑动步长为μ,以获得T个窗口,其中,T=f(l/μlen)‑1,l表示步态情感数据总长度,f( )表示向下取整函数,取最接近的小于计算结果的整数;
S2.3:对于第k(k=1,2,…,n)个惯性传感器节点所采集的第t(t=1,2,…,T)个窗口内的惯性步态情感数据片段由x轴加速度数据 、y轴加速度数据 、z轴加速度数据、x轴角速度数据 、y轴角速度数据 、z轴角速度数据 、x轴磁场数据、y轴磁场数据 、z轴磁场数据 组成,可表示为
,对于第j(j=1,
2,…,m)个脑电传感器节点所采集的第t(t=1,2,…,T)个窗口内的脑电步态情感数据片段表示为 。
3.根据权利要求1所述的一种多模态的人体步态情感识别方法,其特征在于:所述步骤S3具体步骤包括:S3.1:通过快速傅里叶变换法将惯性步态情感样本由时域表示转换为频域表示,以获得频域惯性步态情感样本,尺寸为len×9,并把惯性步态情感样本和频域步态惯性情感样本按照时间维度进行拼接,以获得时频惯性步态情感样本,尺寸为2len×9,把样本数据值与图像中灰度值进行对应,构成灰度值矩阵,以获得惯性步态情感图像;
S3.2:通过小波连续变换法将脑电步态情感样本中由时域表示转换为时频域表示,通过N层小波分解,得到M个频段,其中, ,以获得时频域脑电步态情感样本,尺寸为len×M,把样本数据值与图像中灰度值进行对应,构成灰度值矩阵,以获得脑电步态情感图像。
4.根据权利要求1所述的一种多模态的人体步态情感识别方法,其特征在于:所述步骤S5具体步骤包括:S5.1:卷积神经网络主要包括卷积层、池化层和全连接层,为了检查隐藏在惯性步态情感图像中惯性传感器多个通道信号之间的相关性重要特征,使用多种不同尺寸的卷积核,调整卷积核的步长和池化参数,以获得不同数量通道之间的相关性特征矩阵,并按照通道维度进行拼接,使用同样的卷积核参数和网络结构,提取脑电步态情感图像中每个脑电传感器的小波信号多个频段之间的相关性重要特征;
S5.2:通过卷积神经网络后得到的特征矩阵F可以表示为 ,其中,c
表示通道数,使用通道注意力机制可得到c维向量 ,其中每个
值都属于[0,1],以获得每个通道对应的权重,将权值与特征矩阵相乘F×Atn,以获得惯性步态情感特征矩阵和脑电步态情感特征矩阵。
5.根据权利要求1所述的一种多模态的人体步态情感识别方法,其特征在于:所述步骤S6具体步骤包括:惯性步态情感特征矩阵和脑电步态情感特征矩阵的尺寸分别为和 ,两种特征矩阵串联在一起并进行特征归一化,形成新的高维合成特征表示,尺寸为 ,以获得融合步态情感特征矩阵。
6.根据权利要求1所述的一种多模态的人体步态情感识别方法,其特征在于:所述步骤S7具体步骤包括:S7.1:通过P折交叉验证,得到e种情感对于o种分类模型的F1分数作为贡献率;
S7.2:根据贡献率建立如下决策层融合模型的评价矩阵:
其中,R表示评价矩阵, 表示第e种情感对于第o个分类模型的贡献率;
S7.3:第h(h=1,2,…,o)个分类模型的对比强度 和指数冲突 分别以标准差和相关系数的形式表示:其中, 表示第h个分类模型的对比强度, 表示第e种情绪对于第h个分类模型的贡献率, 表示第h个分类模型中e种情绪贡献率的均值, 表示第h个分类模型的冲突指数,表示第j个和第h个分类模型之间的相关系数;
利用如下公式得到第e种情感对于第h个分类模型的信息量:
其中, 表示第e种情感对于第h个分类模型的信息量;
根据以下公式获得第e种情感对于第h个分类模型的权重:
其中, 表示第e种情感对于第h个分类模型的权重;
通过以下公式可以获得第e种情感对于第h个分类模型的输出结果:
其中, 表示测试样本被分到第e种情感;
S7.4:建立相应的决策层融合机制,进行人体步态情感识别。