1.一种基于迁移学习的多特征融合疲劳检测方法,包括以下步骤:
步骤1:选取若干志愿者;
步骤2:每个志愿者进行实验室模拟驾驶并采集实时的脑电、心电、眼电和面部图像信号,对每个志愿者间隔一段时间做反应时间测试,完成数据采集;
步骤3:对每个志愿者的脑电、心电、眼电和面部图像信号按时间窗口划分,分别进行特征提取,根据对应的反应时间设置标签,所有志愿者的数据和标签构成有标签数据集Ds={x1,x2,x3…xi…xn},Y={Y1,Y2,Y3…Yi…Yn},其中xi代表第i个志愿者的特征数据,Yi代表第i个志愿者的状态标签数据;
步骤4:对驾驶员进行数据预收集和特征提取从而得到驾驶员特征数据xtq,将xtq与步骤
3中的Ds数据集的每个志愿者数据分别求最大均值差,筛选出与驾驶员生理数据最大均值差最小的m个志愿者;
步骤5:使用步骤4得到的m个志愿者的有标签生理数据和步骤4的驾驶员特征数据xtq,将每个志愿者的脑电数据、心电数据、眼电数据和面部图像数分别训练4个基于深度自编码器的迁移学习模型TLDA,共训练m×4个TLDA模型,并将驾驶员特征数据输入训练好的模型,得到每个TLDA模型对驾驶员疲劳状态的评估结果P(yij),P(yij)代表第i个志愿者的第j个传感器数据的TLDA模型输出结果为疲劳的概率;
步骤6:将步骤5中每个志愿者的脑电、心电、眼电和面部图像模型的评估结果,使用加权平均法综合所有传感器模型输出的平均值作为对应于每个志愿者的融合评估结果并统计出条件概率P(yi|Y),P(yi|Y)代表在真实标签为疲劳的情况下第i个志愿者的TLDA模型的融合评估结果P(yi)为疲劳的概率;
步骤7:使用步骤6的对应于每个志愿者的融合评估结果P(yi)和条件概率P(yi|Y)计算出驾驶员最终的评估结果
2.根据权利要求1所述的一种基于迁移学习的多特征融合疲劳检测方法,其特征在于,所述步骤2中,以512HZ的采样频率采集脑电、心电、眼电信号,以30fps频率录制受试者面部视频。
3.根据权利要求1所述的一种基于迁移学习的多特征融合疲劳检测方法,其特征在于,所述步骤3中,对脑电信号的处理为:先对脑电信号进行小波阈值降噪,再使用小波分解得到α波,β波,θ波,然后计算各频段的能量、样本熵和样本熵组合来作为脑电特征。
4.根据权利要求1所述的一种基于迁移学习的多特征融合疲劳检测方法,其特征在于,对心电信号的处理为:首先进行R波波峰点标注,然后计算R‑R间隔,再根据R‑R间隔计算R‑R间隔均值、R‑R间隔标准差、以及大于50ms的R‑R间期占R‑R间期总数的比例来作为心电特征。
5.根据权利要求1所述的一种基于迁移学习的多特征融合疲劳检测方法,其特征在于,对于眼电信号的处理为:先寻找每次眨眼的波峰和左右零点,计算每次眨眼的睁眼闭合时长、眨眼睁开时长,和时间窗中平均眨眼时长,眨眼频率以及组合特征PAVR,组合特征PAVR即每次眨眼过程中眼电信号的最大振幅与眨眼时长的比值。
6.根据权利要求1所述的一种基于迁移学习的多特征融合疲劳检测方法,其特征在于,对于面部图像的处理为:使用CLM定位模型标注人眼,获取上下眼睑距离来计算眼部特征PERCLOS,眼部特征PERCLOS即上下眼睑距离小于睁眼状态时上下眼睑距离30%的时间和总时间窗口长度的比值,同时将对应的反应时间作为标签。