1.一种基于多模态网络的驾驶员情绪智能识别的方法,其特征在于,包括下列步骤:
步骤1:驾驶员的多模态情绪数据采集:包括驾驶员实时图像信息、语音信息、交互力度信息与方向盘转速信息;
步骤2:数据预处理:
(1)采用均值滤波方式对驾驶员图像信息进行预处理,减少复杂光照与环境因素对识别结果的干扰,提高图像质量;
(2)采用语音信号转为语谱图的方式对驾驶员语音信息进行预处理;
(3)采用标准化的方式对驾驶行为信息进行预处理;
步骤3:搭建基于多模态网络的情绪识别网络模型:
选取真实环境下驾驶员的多模态情绪数据作为情绪数据集,按照8:2的比例将数据集分割为训练集与测试集,对多模态网络进行训练,选取并保存训练效果最好的权值文件,将多模态网络模型与权值文件集成作为情绪识别网络模型存入车辆端存储器中,所述情绪识别网络模型包括面部情绪识别模型,声音情绪识别模型与驾驶行为情绪识别模型,采用决策层融合算法对三种模态的情绪进行有效融合;
所述面部情绪识别模型包括,当获取到经预处理后的面部图片U后,首先将面部图像U输入至空间注意力网络STN中,获取具有视觉注意效果图片V,将图片V输入至基于改进的卷积神经网络VGG中,其中网络由5个卷积块,1个通道注意力模块ECA-NET与1个全连接层FC1组成,网络中的卷积核大小均为3x3,池化核大小均为2x2,其中卷积块1包含2个卷积层与1个最大池化层,卷积层输出通道数为64;卷积块2包含2个卷积层与1个最大池化层,卷积层输出通道数为128;卷积块3包含3个卷积层与1个最大池化层,卷积层输出通道数为256;卷积块4包含3个卷积层与1个最大池化层,卷积层输出通道数为512;卷积块5包含3个卷积层与1个最大池化层,卷积层输出通道数为512,将卷积块5的输出输入至通道注意力模块ECA-NET中,模块的输出通道数为512,其中ECA-NET模块首先将输入的特征图进行全局平均池化,每个通道的特征层使用单个数值表示;然后,每个特征层的权重由大小为k的一维卷积生成,得到每个通道间的关系,最后将生成的权重作用于输出的特征图上,从而对各特征层得以区分,更有效的处理特征,最后经过一个全连接层FC1得到面部情绪识别的结果得分;
步骤4:多模态情绪干预:
当情绪识别模型检测出驾驶员出现异常情绪时,及时发出预警信号,并通过多模态的方式帮助驾驶员调节情绪。
2.根据权利要求1所述的一种基于多模态网络的驾驶员情绪智能识别的方法,其特征在于:所述步骤1中情绪可标记为高兴、愤怒、悲伤、恐惧、惊讶、厌恶、平静这七种基本情绪,具体采集方式是:通过车内前置人像摄像头或红外摄像头拍摄驾驶员在车辆行驶过程中的人像照片,获取驾驶员实时图像信息;通过车内麦克风收集车辆行驶过程中的语音信息;通过脚踏板旁设置的力传感器收集驾驶员的交互力度信息,通过方向盘旁设置的转速传感器获取方向盘转速信息。
3.根据权利要求1所述的一种基于多模态网络的驾驶员情绪智能识别的方法,其特征在于:所述步骤2的(1)中所述均值滤波算法采用公式1,其中表示当前像素邻域表中像素的个数,指像素点周围像素点的灰度值,均值滤波指用周围像素点灰度值的均值作为该像素点的输出,即:(1);
所述步骤2的(2)中首先需要将语音信号分帧,每帧语音通过FFT变换计算出对应的频谱,之后将多帧语音生成的频谱组合在一张图中,生成对应的语谱图;
所述步骤2的(3)中采用标准化的方式如式2所示,其中a为原始数据,为当前行为数据的均值,为当前行为数据的方差,b为标准化后的数据;
(2)。
4.根据权利要求1所述的一种基于多模态网络的驾驶员情绪智能识别的方法,其特征在于:所述STN网络共包含3个模块,分别为本地网络、网格生成器与采样器,其中本地网络由一个小型卷积神经网络构成,网络的结构为:输入卷积层conv1,最大池化层Pool1,输入卷积层conv2,最大池化层Pool2,全连接层FC1,全连接层FC2,其中conv1的卷积核尺寸为7x7,conv2的卷积核尺寸为5x5,池化核尺寸为2x2,全连接层FC1输出的维度是32,全连接层FC2输出的维度是6,对应于仿射变换所需要的6个参数,即,如公式3所示,网格生成器用于得到输入图片U与输出图片V之间的参数映射关系,如公式4所示,其中(,)是输入图片U中每个像素的坐标,(,)是输出图片V中每个像素的坐标,采样器将映射关系作用于输入图片U中的每个像素,输出图片V;
(3)
(4)。
5.根据权利要求1所述的一种基于多模态网络的驾驶员情绪智能识别的方法,其特征在于:所述网络的卷积层采用“廉价化卷积”的方式实现,该卷积方式可在保证准确率的前提下,减小模型体积,大幅降低计算量,并提高计算速度,其中,“廉价化卷积”的实现方式是:
1)先使用普通的常规卷积,将输入特征维数c压缩到m;
2)将m维的特征使用逐层卷积扩展到,其中s是廉价卷积的操作数,逐层卷积得到的就是Ghost特征;
3)将常规卷积与Ghost卷积得到的特征进行拼接作为输出,得到最终“廉价化卷积”的结果。
6.根据权利要求1所述的一种基于多模态网络的驾驶员情绪智能识别的方法,其特征在于:所述步骤3中语音情绪识别模型是通过构建8层卷积神经网络对预处理后的语谱图进行分析识别,其中模型包含4个卷积层、2个最大池化层与2个全连接层,卷积核的尺寸均为3x3,池化核的尺寸为2x2,卷积层1与卷积层2的输出维度是32,卷积层3与卷积层4的输出维度是64,2个全连接层的输出维度分别为128与7,其中模型的4个卷积层采用“廉价化卷积”的方式实现,模型的输入为经预处理后生成的语谱图,输出为语音情绪识别的得分。
7.根据权利要求1所述的一种基于多模态网络的驾驶员情绪智能识别的方法,其特征在于:所述步骤3中驾驶行为情绪识别模型通过建立一个三层感知机模型进行分析识别,其中模型的输入是经预处理后拼接而成的脚踏板力度、方向盘握力度与转速信息,输出为驾驶行为情绪的得分。
8.根据权利要求1所述的一种基于多模态网络的驾驶员情绪智能识别的方法,其特征在于:所述步骤3中决策级融合选用加权求和的方法对多个模态的信息进行综合判断,通过公式5,其中指多模态情绪的综合得分,为每个模态的权重,,在训练过程中,根据数据集设置为0或1,以此来获得的值;
(5)。
9.根据权利要求1所述的一种基于多模态网络的驾驶员情绪智能识别的方法,其特征在于:所述步骤4中视觉调节通过中控屏幕背景色与页面布局调整的方式对驾驶员进行情绪调节,听觉调节采用自适应音乐和听觉干预的方式调节驾驶员的情绪,触觉调节采用振动或温度改变的方式帮助驾驶员调节情绪。