1.融合语音与微表情的多模态情感识别方法,其特征是,包括以下步骤:S101:对历史微表情数据进行分类处理,并根据情绪发展趋势按序对每个分类子库设定情绪波动值后建立微表情数据库;
S102:根据历史语音情感表征词汇建立语音情感数据库,并根据微表情数据库、语音情感数据库建立语音与微表情的情感关联函数;
S103:同时获取同一目标对象的语音信息和脸部图像信息,并对语音信息进行预处理后提取情感表征词汇,以及对脸部图像信息进行图像处理后提取微表情数据;
S104:将相同时间轴上的情感表征词汇、微表情数据分别在语音情感数据库、微表情数据库进行相似度匹配,并根据匹配结果获取情感关联函数以及对应微表情的情绪波动值;
S105:根据时间轴分布顺序将获取的情感关联函数依次串联后建立情感识别网,并根据时间轴分布顺序将情感识别网逐级分解后得到多个情感识别线路;
S106:根据情感识别线路获取相应的情绪波动值,并根据情绪波动值、时间轴分布顺序建立情绪识别曲线;
S107:对情绪识别曲线进行情感波动度计算,并根据预设波动度选择合格的情感识别线路作为多模态情感识别结果;
所述情感关联函数具体为:
式中,Y(a,i
所述情感识别网建立具体为:
根据情感表征词汇的时间轴分布顺序将对应的情感关联函数依次排序;
将N+1时间序的情感关联函数同时串联在N时间序对应情感关联函数中的微表情分类子库,得到情感识别网,情感识别网分解后的情感识别线路具体为:Q=S
式中,Q表示情感识别线路的总数量;S
所述情绪识别曲线具体为:
根据情感识别线路中微表情分类子库的时间轴分布顺序按序获取对应的情绪波动值;
以时间轴分布顺序为横轴、情绪波动值为纵轴得到情感识别线路中各个微表情分类子库的二维坐标点,并将相邻二维坐标点以平滑线连接形成情绪识别曲线F(x),情绪识别曲线具体为:F(N)={f
式中,F(N)表示情绪识别曲线;f
所述情感波动度计算具体为:
K
K
式中,W表示情感波动度;D
2.根据权利要求1所述的融合语音与微表情的多模态情感识别方法,其特征是,所述语音信息预处理具体为:通过对语音信息进行自然语言处理后获取语音信息中的语速信息和句义信息;
根据语速信息、句义信息从语音信息中截取语句单元,并按序将语句单元作为情感表征词汇提取的独立数据。
3.根据权利要求2所述的融合语音与微表情的多模态情感识别方法,其特征是,所述情感表征词汇提取具体为:对语句单元进行分词、词性标注后提取标注词组;
从标注词组中筛选出表征情绪的标注词作为情感表征词汇。
4.融合语音与微表情的多模态情感识别系统,其特征是,该系统用于实现如权利要求1-3任意一项所述的融合语音与微表情的多模态情感识别方法,包括:表情数据库构建模块,用于对历史微表情数据进行分类处理,并根据情绪发展趋势按序对每个分类子库设定情绪波动值后建立微表情数据库;
语音数据库构建模块,用于根据历史语音情感表征词汇建立语音情感数据库,并根据微表情数据库、语音情感数据库建立语音与微表情的情感关联函数;
数据处理模块,用于同时获取同一目标对象的语音信息和脸部图像信息,并对语音信息进行预处理后提取情感表征词汇,以及对脸部图像信息进行图像处理后提取微表情数据;
匹配模块,用于将相同时间轴上的情感表征词汇、微表情数据分别在语音情感数据库、微表情数据库进行相似度匹配,并根据匹配结果获取情感关联函数以及对应微表情的情绪波动值;
线路获取模块,用于根据时间轴分布顺序将获取的情感关联函数依次串联后建立情感识别网,并根据时间轴分布顺序将情感识别网逐级分解后得到多个情感识别线路;
曲线建立模块,用于根据情感识别线路获取相应的情绪波动值,并根据情绪波动值、时间轴分布顺序建立情绪识别曲线;
识别判断模块,用于对情绪识别曲线进行情感波动度计算,并根据预设波动度选择合格的情感识别线路作为多模态情感识别结果。
5.一种计算机终端,其特征是,包含存储器、处理器及存储在存储器并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1-3中任意一项所述的融合语音与微表情的多模态情感识别方法。
6.一种计算机可读介质,其特征是,其上存储有计算机程序,所述计算机程序被处理器执行可实现如权利要求1-3中任意一项所述的融合语音与微表情的多模态情感识别方法。