1.一种多模态情感自反馈的跨领域动态意图识别方法,其特征在于,包括:获取视频文件,并将所述视频文件解析为文本、音频流和视频流;
对所述文本、所述音频流和所述视频流分别进行特征提取,得到文本特征向量、音频特征向量和视频特征向量;
将所述文本特征向量、音频特征向量和视频特征向量进行融合,得到多模态融合特征向量;对所述多模态融合特征向量进行情感识别,得到核心情感标签及权重;
对所述文本特征向量、音频特征向量和视频特征向量分别进行意图识别,得到全局概率意图分布;
利用情感意图映射矩阵得到核心情感标签及权重对应的情感意图概率值;
将所述情感意图概率值和所述全局概率意图分布进行加权融合,得到最终意图概率分布;
将最终意图概率分布中概率最大值对应的意图标签作为意图识别结果。
2.根据权利要求1所述的多模态情感自反馈的跨领域动态意图识别方法,其特征在于,所述情感意图映射矩阵为三维矩阵,表示为;
其中,为当前面向的领域维度,为情感分级维度,为意图维度;表示实数域。
3.根据权利要求2所述的多模态情感自反馈的跨领域动态意图识别方法,其特征在于,得到情感意图概率值的方法为:利用情感意图映射矩阵确定核心情感标签及权重对应的情感意图概率初值;
通过如下公式对所述情感意图概率初值进行优化,得到所述情感意图概率值;;
其中,为情感意图概率值,为情感意图概率初值,为核心情感标签的权重,表示领域下,情感分级对意图的矩阵调整系数。
4.根据权利要求1-3任意一项所述的多模态情感自反馈的跨领域动态意图识别方法,其特征在于,还包括:当意图识别的领域变更时,采用强化学习方法对矩阵调整系数进行优化,得到新领域的情感意图映射矩阵;并利用所述新领域的情感意图映射矩阵进行情感意图识别。
5.根据权利要求4所述的多模态情感自反馈的跨领域动态意图识别方法,其特征在于,所述强化学习方法采用的奖励函数为:;
其中,;
式中,表示交互意图匹配度,表示交互完成效率,代表意图匹配度权重系数,代表交互完成效率权重系数,表示反馈满意度量化指标。
6.根据权利要求5所述的多模态情感自反馈的跨领域动态意图识别方法,其特征在于,还包括对所述奖励函数进行修正,并将修正的奖励函数作为强化学习算法的奖励函数;
修正的奖励函数为:;
其中,;
式中,表示准确率偏差率,表示准确率偏差权重系数,表示成本偏差率,表示成本偏差权重系数,为第一综合修正系数。
7.根据权利要求6所述的多模态情感自反馈的跨领域动态意图识别方法,其特征在于,还包括:在实际应用过程中,实时计算应用综合性能评分,如果应用综合性能评分不满足阈值要求,则通过强化学习的方法对情感意图映射矩阵的参数进行更新;
其中,实际应用过程采用的奖励函数为:;;
式中,表示准确率偏差率,表示准确率偏差权重系数,表示鲁棒性偏差率,表示鲁棒性偏差权重系数,为第二综合修正系数。
8.根据权利要求7所述的多模态情感自反馈的跨领域动态意图识别方法,其特征在于,采用情感识别模块对所述多模态融合特征向量进行情感识别;
其中,所述情感识别模块包括依次连接的第一线性层、激活层、层、第二线性层和层。
9.根据权利要求8所述的多模态情感自反馈的跨领域动态意图识别方法,其特征在于,得到全局概率意图分布的方法为:将文本特征向量、音频特征向量和视频特征向量分别输入意图模态预处理模块,得到优化的文本特征向量、优化的音频特征向量和优化的视频特征向量;
将优化的文本特征向量、优化的音频特征向量和优化的视频特征向量分别输入意图识别模块,得到文本模态意图概率分布、音频模态意图概率分布和视频模态意图概率分布;
将所述文本模态意图概率分布、音频模态意图概率分布和视频模态意图概率分布加权融合得到全局概率意图分布。
10.根据权利要求9所述的多模态情感自反馈的跨领域动态意图识别方法,其特征在于,所述意图模态预处理模块包括:依次连接的线性层、层、激活层和层;
所述意图识别模块包括依次连接的线性层、层、激活层、层和层。