欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021112865892
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
专利领域: 医学或兽医学;卫生学
更新日期:2024-04-29
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多模态信号的运动想象意图识别方法,其特征在于:包括如下步骤:步骤S1,根据运动想象左、右指示图片提示被试者进行运动想象,同步采集运动想象任务下的脑电信号与功能性近红外光谱信号数据;将采集到的脑电信号与功能性近红外光谱信号打上与左、右指示图片相对应的标签,并在运动想象任务开始时打上开始的标记点,对所采集的脑电信号数据与功能性近红外信号数据分别进行预处理得到脑电信号数据与脱氧血红蛋白浓度变化数据;

步骤S2、将预处理后脑电信号数据与脱氧血红蛋白浓度变化数据送入多任务卷积网络模型学习脑电信号与脱氧血红蛋白浓度变化信号的空间‑时间特征以及任务间相关信息特征;

具体步骤为:

步骤S21、将预处理后的脑电信号数据和脱氧血红蛋白数据根据任务开始的标记点提取0‑10s内的时间点的样本数据,获得任务内的脑电信号二维时间序列输入矩阵与脱氧血红蛋白浓度变化信号二维时间序列输入矩阵;

步骤S22、将脑电信号二维时间序列输入矩阵与脱氧血红蛋白浓度变化信号二维时间序列输入矩阵以并行的方式分别输入到非对称的M个卷积的非对称卷积网络中进行空间‑时间特征学习,M为自然数,且M>1;

脑电信号二维时间序列输入矩阵与脱氧血红蛋白浓度变化信号二维时间序列输入矩阵的大小均为C×N,其中C为电极通道变量的个数,N为采样点数,采用两个卷积网络并行学习信号空间‑时间特征,具体包括如下具体步骤:步骤S221、将脑电信号二维时间序列输入矩阵与脱氧血红蛋白浓度变化信号二维时间序列输入矩阵分别并行输入到两个非对称卷积网络模块进行空间‑时间特征的提取,并设计卷积网络的滤波器先后沿着通道变量轴与时间轴进行运动;

步骤S222、设置脑电信号和脱氧血红蛋白浓度变化信号的卷积网络模块的层数,脑电信号的每个特征提取模块分别包括两个隐含层、一个批归一化层和一个概率最大池化层;

脱氧血红蛋白浓度变化信号的每个特征提取模块包括一个隐含层、一个批归一化层和一个概率最大池化层;

步骤S223、将脑电信号和脱氧血红蛋白浓度变化信号的卷积网络模块产生的两种信号的空间‑时间特征压成一维向量后进行特征融合,以进一步用于深度特征的提取;

步骤S23,将步骤S22学习到的脑电信号与脱氧血红蛋白浓度变化信号的空间‑时间特征联合后送入多任务学习的共享层n层进行任务间特征分析进一步提取深度特征;

步骤S3、将步骤S2获取的空间‑时间特征数据分别输入到构建的具有center_loss损失函数的辅助度量任务中与具有交叉熵损失函数的softmax分类器的主分类任务中并得出最终损失函数,其中辅助度量任务为度量类别特征使最大化类间距离最小化类内距离,主分类任务为运动想象二分类问题;

center_loss的计算公式如下所示:

d

其中Lcenter‑loss表示度量学习的损失函数,cyi∈R表示深度特征的第yi类中心,xi表示第i个数据的样本;

交叉熵损失函数的计算公式如下所示:

其中pi表示预测概率,yi表示样本i的类别标签;

最终损失函数公式如下:

LM2CNN=αLcross‑entropy+βLcenter‑loss,Lcenter‑loss为辅助度量任务的损失,Lcross‑entropy为主分类任务的损失,α为辅助度量任务最优权重因子,β为主分类任务最优权重因子。

2.根据权利要求1所述的一种基于多模态信号的运动想象意图识别方法,其特征在于:所述步骤S1对采集的脑电信号数据进行的预处理是将采集到的脑电信号数据进行基线漂移校正,脑电信号数据基线漂移校正采用EEGLAB进行,然后在EEGLAB中进行50Hz工频去除与8‑30Hz带通滤波,以及ICA去除眼电与降采样。

3.根据权利要求1所述的一种基于多模态信号的运动想象意图识别方法,其特征在于:所述步骤S1对功能性近红外信号数据进行的预处理步骤:

1)通过修正的郎伯‑比尔定律计算脱氧血红蛋白和氧血红蛋白的浓度变化,获取脱氧血红蛋白和氧血红蛋白的浓度变化数据;

2)用带通滤波滤除杂波,基线校正纠正零点漂移与降采样,带通滤波采用四阶零相位巴特沃思滤波器,带通频率为0.01‑0.1Hz。

4.根据权利要求1所述的一种基于多模态信号的运动想象意图识别方法,其特征在于:所述步骤S23的具体步骤为:

步骤S231,将脑电信号和脱氧血红蛋白浓度变化信号的卷积网络模块产生的两种信号的空间‑时间特征融合后送入多任务学习的共享层,并设计脑电信号和脱氧血红蛋白信号的卷积网络的滤波器分别沿着通道变量轴与时间轴进行运动;

步骤S232,设置步骤S231中的共享层全连接层的层数,以及每层神经元的数量;

步骤S233,将步骤S232全连接层输出的融合特征在数据发送给辅助度量任务与主分类任务。

5.根据权利要求4所述的一种基于多模态信号的运动想象意图识别方法,其特征在于:所述步骤S232中共享层全连接层的层数为三层,三层全连接层的神经元数量分别为256、

128、64。