1.一种用于医疗护理机器人的多模态情感识别方法,包括以下步骤:
1、进行多模态情感信息采集,采集到患者的视频信息和音频信息,
2、根据所述视频信息进行表情自注意力情感特征提取和动作自注意力情感特征提取,根据所述音频信息进行语音自注意力情感特征提取和文本自注意力情感特征提取;所述的表情自注意力情感特征提取,根据所述视频信息提取患者表情的情感特征向量,并通过自注意力机制转化为表情自注意力情感特征;
提取患者表情的情感特征向量具体包括:
首先使用预训练模型和组合网络来提取视频特征,同时使用人脸表情识别库对分帧之后的图片进行人脸面部的关键点检测,之后通过计算中心点,计算距离中心点的距离,得到关键点的特征,最后将两部分特征进行拼接形成完整的表情情感特征;
通过自注意力机制转化为表情自注意力情感特征具体包括:
将得到的表情情感特征作为自注意力机制的输入,按照视频信息对应得视频帧数将表情情感特征向量转换为I组特征向量,每组特征向量大小为其中I为视频帧帧数,E为表情情感特征向量维数;通过自注意力机制得到的表情自注意力情感特征如下所示:其中为第i组特征向量的权重系数,表示第i组特征向量,exp表示以自然常数e为底的指数函数,WE为可训练的线性变换参数向量,FE为通过自注意力机制的表情自注意力情感特征;
所述动作自注意力情感特征提取,根据所述视频信息提取患者动作的情感特征向量,并通过自注意力机制转化为动作自注意力情感特征;
所述提取患者动作的情感特征向量具体包括:
首先使用预训练模型和组合网络来提取视频特征,同时使用人体姿态检测库对分帧之后的图片进行人体的关节点检测,之后通过计算人体重心,计算各个关节点到重心的距离和角度,得到人体关节点的特征,最后将两部分特征进行拼接形成完整的动作情感特征;
所述通过自注意力机制转化为动作自注意力情感特征具体包括:
将得到的动作情感特征作为自注意力机制的输入,按照视频信息对应得视频帧数将动作情感特征向量转换为J组特征向量,每组特征向量大小为其中J为视频帧帧数,A为动作情感特征向量维数;通过自注意力机制得到的动作自注意力情感特征如下所示:其中为第j组特征向量的权重系数,表示第j组特征向量,exp表示以自然常数e为底的指数函数,WA为可训练的线性变换参数向量,FA为通过自注意力机制的动作自注意力情感特征;
所述语音自注意力情感特征提取,根据所述音频信息提取患者语音的情感特征向量,并通过自注意力机制转化为语音自注意力情感特征;
所述提取患者语音的情感特征向量具体包括:将采集到的音频信号进行预处理并绘制语谱图,之后构建并训练卷积神经网络,最后利用训练完成的网络提取语音情感特征;
所述通过自注意力机制转化为语音自注意力情感特征具体包括:将得到的语音情感特征作为自注意力机制的输入,按照每个音频信息的语音帧数将语音情感特征向量特征转换为K组特征向量,每组特征向量大小为其中K为音频帧帧数,V为表情情感特征向量维数;通过自注意力机制得到的表情自注意力情感特征如下所示:其中为第k组特征向量的权重系数,表示第k组特征向量,exp表示以自然常数e为底的指数函数,WV为可训练的线性变换参数向量,FV为通过自注意力机制的语音自注意力情感特征;
所述文本自注意力情感特征提取用于根据所述音频信息提取患者文本的情感特征向量,并通过自注意力机制转化为文本自注意力情感特征;
所述提取患者文本的情感特征向量具体包括:首先使用端到端ASR系统将音频信号提取成文本信息,之后利用预训练模型提取文本信息中的词向量特征,之后对每个句子中每个词的词向量进行相加得到句子向量,同时利用预训练模型提取每个句子的句子向量,最后将两部分提取的句子向量进行组合拼接得到完整的文本情感特征;
所述通过自注意力机制转化为文本自注意力情感特征具体包括:将得到的文本情感特征作为自注意力机制的输入,根据文本的单词数价格文本情感特征向量转换为L组特征向量,每组特征向量大小为其中L为音频帧帧数,X为文本情感特征向量维数;通过自注意力机制得到的文本自注意力情感特征如下所示:其中为第l组特征向量的权重系数,表示第l组特征向量,exp表示以自然常数e为底的指数函数,WX为可训练的线性变换参数向量,FX为通过自注意力机制的语音自注意力情感特征;
3、所述4种自注意力情感特征进行基于互注意力机制情感特征融合,得到完整的多模态情感特征;
4、所述多模态情感特征进行基于图卷积神经网络的上下文情感特征提取,
得到包含上下文信息的多模态情感特征;
5、所述包含上下文信息的多模态情感特征进行情感分类识别得到情感标签结果;
6、根据所述情感标签结果进行语音交互和显示。
2.如权利要求1所述的一种用于医疗护理机器人的多模态情感识别方法,其特征在于:步骤3所述的所述基于互注意力机制的情感特征融合,用于将上述自注意力情感特征两两组合得到互注意力情感特征,互注意力情感特征通过级联融合得到完整的多模态情感特征;
所述的将上述自注意力情感特征两两组合得到互注意力情感特征具体包括:
以组合表情-动作为例进行互注意力机制的说明,首先将表情自注意力情感特征以及动作自注意力情感特征作为表情-动作互注意力机制的输入,获取表情-动作互注意力机制如下所示:其中softmax表示归一化指数函数,FAI=(FA)TWA,FEI=(FE)TWE,和为可训练的参数向量矩阵,Concat(·)表示向量级联,FA_E表示相对动作自注意力情感特征,表情自注意力情感特征加了权重之后的特征,FE_A表示相对表情自注意力情感特征,动作自注意力情感特征加了权重之后的特征,FEA表示表情-动作互注意力情感特征;
按上述方法,同理可以获取表情-语音互注意力情感特征FEV,表情-文本互注意力情感特征FEX,动作-语音互注意力情感特征FAV,动作-文本互注意力情感特征FAX,语音-文本互注意力情感特征FVX;
所述将互注意力情感特征通过级联融合得到完整的多模态情感特征具体包括:
F=Concat(FEA,FEV,FEX,FAV,FAX,FVX)#(12)其中F表示得到的完整的多模态情感特征。
3.如权利要求1所述的一种用于医疗护理机器人的多模态情感识别方法,其特征在于:步骤4所述的基于图卷积神经网络的上下文情感特征提取,用于将所述多模态情感特征通过图卷积神经网络得到包含上下文信息多模态情感特征;
所述通过图卷积神经网络得到包含上下文信息多模态情感特征具体包括:
首先将上述多模态情感特征作为图结构的结点集Gv∈RN×f,其中,N为相邻样本的个数,f为使用注意力机制提取的多模态情感特征的维数,利用下式所示的相似度公式来构建邻接矩阵A来定义相邻样本之间的边集信息Ge;
其中,vi和vj表示第i个和第j个相邻样本的多模态情感特征向量,||·||表示取模操作,sim表示余弦相似度,当sim≥0.75时,邻接矩阵A的元素ai,j=1;当sim<0.75时,邻接矩阵A的元素ai,j=0;
之后,在将图结构作为图卷积神经网络的输入,并对图结构进行图卷积操作;图卷积操作如下式所示,其中,度矩阵ai,j表示邻接矩阵A第i行j列的元素,Hl表示第l层图卷积层的输出,并且H0=F,F为经过注意力机制输出的特征向量,Wl为可训练的线性变换参数,l表示图卷积的层数,σ(·)表示ReLU激活函数。
4.如权利要求1所述的一种用于医疗护理机器人的多模态情感识别方法,其特征在于:步骤5所述的情感分类识别,用于将上述包含上下文信息的多模态情感特征载入预先构建并训练好的情感分类模型中进行分类识别,得到多个离散的情感标签识别结果;
所述多个离散的情感标签具体包括痛苦、悲伤、平静、恶心、舒服和高兴。
5.如权利要求1所述的一种用于医疗护理机器人的多模态情感识别方法,其特征在于:步骤6所述语音交互和显示,用于与患者和医生进行情感分析结果的实时语音和显示反馈,根据得到的情感标签识别结果与患者和医生进行相应的语音交互。