1.一种基于不确定性估计的多模态情感分析方法,其特征在于:包括以下步骤,S1、获取多模态情感分析数据集,多模态情感分析数据集中的视频样本包括音频数据、图像数据、文本数据与样本标签,分别对视频样本中的音频数据、图像数据和文本数据进行特征提取,得到对应的音频特征、视频特征和文本特征;
S2、将步骤S1所得音频特征和视频特征分别进行上下文表征,得到表征后的音频特征、视频特征;
S3、将步骤S2得到的表征后的音频特征、视频特征和文本特征分别输入各自的基于迪利克雷分布的不确定性估计模型,分别得到音频模态的迪利克雷分布的参数、视频模态的迪利克雷分布的参数和文本模态的迪利克雷分布的参数与不确定性估计;
S4、使用D‑S证据理论对步骤S3得到的音频模态的迪利克雷分布的参数、视频模态的迪利克雷分布的参数和文本模态的迪利克雷分布的参数进行置信度的求解,再将各模态的置信度和不确定性利用邓普斯特组合规则进行融合,得到情感分类结果与总体不确定性估计;
S5、将步骤S4中得到的情感分类结果与步骤S1中获得的多模态情感分析数据集中的样本标签为输入,以交叉熵函数作为损失函数对步骤S3中的基于迪利克雷分布的不确定性估计模型进行训练,得到训练后的基于迪利克雷分布的不确定性估计模型;
S6、将需要进行情感分析的视频作为输入,经过步骤S5所得训练后的基于迪利克雷分布的不确定性估计模型,输出得到的预测结果。
2.如权利要求1所述的基于不确定性估计的多模态情感分析方法,其特征在于:步骤S1中,分别对视频样本中的音频数据、图像数据和文本数据进行特征提取,具体为,S11、对数据集中的音频数据逐帧进行分段,输入预先训练好的音频特征提取网络,得到音频特征;
S12、对数据集中的视频数据逐帧进行分段,输入预先训练好的图像特征提取网络,得到视频特征;
S13、对数据集中的文本数据输入文本预训练模型BERT,得到表征后的文本特征。
3.如权利要求1所述的基于不确定性估计的多模态情感分析方法,其特征在于:步骤S2中,将步骤S1所得音频特征和视频特征分别进行上下文表征,得到表征后的音频特征、视频特征,具体为,S21、将步骤S1所得音频特征输入一层双向长短时记忆网络,用于提取音频特征中的上下文关系,再将双向长短时记忆网络的输出输入至随机失活层,用于避免训练过程中出现的过拟合现象,最后将随机失活层的输出输入至一层全连接层,得到表征后的音频特征;
S22、将步骤S1所得视频特征输入一层双向长短时记忆网络,用于提取视频特征中的上下文关系,再将双向长短时记忆网络的输出输入至随机失活层,用于避免训练过程中出现的过拟合现象,最后将随机失活层的输出输入至一层全连接层,得到表征后的视频特征。
4.如权利要求1‑3任一项所述的基于不确定性估计的多模态情感分析方法,其特征在于:步骤S3中,将步骤S2得到的表征后的音频特征、视频特征和文本特征分别输入各自的基于迪利克雷分布的不确定性估计模型,得到对应音频、视频和文本模态的迪利克雷分布与不确定性估计,具体为,S31、将音频特征、视频特征和文本特征分别输入各自的基于迪利克雷分布的不确定性估计模型,该模型由一层全连接层和一层线性整流激活函数层构成,其中全连接层将步骤S2得到的对应模态上下文表征后的特征映射成证据形式,并输出至线性整流激活函数层,用于保证输出结果为非负值,其输出维度与情感类别个数相等,模型输出即对应模态基于迪利克雷分布的证据表示:其中,a、v、t分别对应音频模态、视频模态和文本模态,K为情感类别的个数;
S32、根据步骤S31所得对应模态基于迪利克雷分布的证据表示,求解出迪利克雷分布利用迪利克雷分布的参数,得到对应a v t
的不确定性估计u、u、u。
5.如权利要求4所述的基于不确定性估计的多模态情感分析方法,其特征在于:步骤S32中,求解出迪利克雷分布 利用迪a v t
利克雷分布的参数,得到对应的不确定性估计u、u、u,计算公式如下:m m
α=e+1,
其中,m∈{a,v,t},为对应模态, 表示迪利克雷强度,K为
情感类别的个数。
6.如权利要求1‑3任一项所述的基于不确定性估计的多模态情感分析方法,其特征在于:步骤S4中,使用D‑S证据理论对步骤S3得到的音频模态的迪利克雷分布的参数、视频模态的迪利克雷分布的参数和文本模态的迪利克雷分布的参数进行置信度的求解,再将各模态的置信度和不确定性利用邓普斯特组合规则进行融合,得到情感分类结果与总体不确定性估计,具体为,S41、对音频模态、视频模态和文本模态的迪利克雷分布,分别求解得到各模态基于D‑S证据理论的置信度 计算公式如下:其中,m∈{a,v,t},为对应模态, 表示迪利克雷强度;
S42、将音频模态和视频模态对应的置信度和不确定性使用邓普斯特组合规则进行初步融合,得到初步融合后的置信度β′=[β′1,...,β′K]和不确定性u′,再将β′=[β′1,...,tβ′K]和u′与文本模态的置信度 和不确定性u 进行融合,得到最终的置信度β″=[β″1,...,β″K]和不确定性u″;
S43、由置信度β″求得最终预测的概率分布结果p=[p1,...,pK]。
7.如权利要求6所述的基于不确定性估计的多模态情感分析方法,其特征在于:步骤S42中,将音频模态和视频模态对应的置信度和不确定性使用邓普斯特组合规则进行初步融合,得到初步融合后的置信度β′=[β′1,...,β′K]和不确定性u′,计算公式如下:其中, 为音频模态对应的第i个情感类别的置信度, 为音频模态对
应的第j个情感类别的置信度, 分别为音频模态和视频模态对应的第k个情感类别的a v t置信度,u、u、u分别为音频模态、视频模态和文本模态对应的不确定性估计;
t
再将β′=[β′1,...,β′K]和u′与文本模态的置信度 和不确定性u进行融合,得到最终的置信度β″=[β″1,...,β″K]和不确定性u″,计算公式如下:其中, β′i为初步融合后的第i个情感类别的置信度, 为文本模态的第j个情感类别的置信度,β′k为初步融合后的第k个情感类别的置信度,为文本模态的第k个t情感类别的置信度,u为文本模态对应的不确定性估计,u′为初步融合后的不确定性。
8.如权利要求6所述的基于不确定性估计的多模态情感分析方法,其特征在于:步骤S43中,由置信度β″求得最终预测的概率分布结果p=[p1,...,pK],计算公式如下:pk=exp[ψ(β″k×S+1)‑ψ(S)],k∈[1,K]
其中,ψ(·)为Digamma函数,β″k为步骤S42得到的第k个情感类别的最终的置信度,其中,u″为步骤S42得到的最终的不确定性,K为情感类别的个数。
9.一种实现权利要求1‑8任一项所述的基于不确定性估计的多模态情感分析方法的装置,其特征在于:包括特征提取模块、情感分类模块和预测分析模块,特征提取模块:获取多模态情感分析数据集,分别对视频样本中的音频数据、图像数据和文本数据进行特征提取,得到对应的音频特征、视频特征和文本特征;将所得音频特征和视频特征分别进行上下文表征,得到表征后的音频特征、视频特征;
情感分类模块:将特征提取模块得到的表征后的音频特征、视频特征和文本特征分别输入各自的基于迪利克雷分布的不确定性估计模型,得到对应音频、视频和文本模态的迪利克雷分布与不确定性估计;使用D‑S证据理论对音频模态的迪利克雷分布、视频模态的迪利克雷分布和文本模态的迪利克雷分布进行置信度的求解,再将各模态的置信度和不确定性进行融合,得到情感分类结果与总体不确定性估计;
预测分析模块:将情感分类模块得到的情感分类结果与多模态情感分析数据集中的样本标签为输入,以交叉熵函数作为损失函数进行训练,得到训练后的基于迪利克雷分布的不确定性估计模型;将需要进行情感分析的视频作为输入,经过所得训练后的基于迪利克雷分布的不确定性估计模型,输出得到的预测结果。
10.一种计算机设备,包括存储器和处理器,存储器存储可在处理器上运行的计算机程序,其特征在于,处理器执行计算机程序时实现如权利要求1‑8任一项所述的基于不确定性估计的多模态情感分析方法的步骤。