1.面向不确定模态缺失的多模态情感分析方法,其特征在于,包括:获取带有不确定缺失的多模态数据,包括三种模态:文本、视觉和音频;
通过训练后的多模态情感分析网络处理所述三种模态数据,以生成并输出最终的情感分类;
其中,所述多模态情感分析网络包括模态翻译模块,所述模态翻译模块是基于多头自注意力机制提取三种模态数据的单模态特征,并使用Transformer解码器对Transformer编码器进行监督,使视觉特征和音频特征逼近文本特征,从而将视觉特征和音频特征翻译成文本特征。
2.如权利要求1所述的面向不确定模态缺失的多模态情感分析方法,其特征在于,所述基于多头自注意力机制提取三种模态数据的单模态特征,具体为:使用Transformer编码器提取每种模态的上下文特征;
对提取的上下文特征进行残差连接,并进行归一化;
对归一化之后的上下文特征进行线性变换,得到三种模态数据的单模态特征。
3.如权利要求1所述的面向不确定模态缺失的多模态情感分析方法,其特征在于,所述使用Transformer解码器对Transformer编码器进行监督,具体为:以文本特征作为多头注意力机制的Quary、待翻译的模态特征作为多头注意力机制的Key和Value,构建Transformer解码器;
通过待翻译的模态特征与Transformer解码器输出的文本特征之间的翻译损失,监督Transformer编码器将待翻译的模态特征向文本特征进行翻译。
4.如权利要求1所述的面向不确定模态缺失的多模态情感分析方法,其特征在于,所述多模态情感分析网络还包括公共空间投影模块;
所述公共空间投影模块是对模态翻译后的三种模态特征进行线性变换,获取各模态的自相关公共空间,将其融合为缺失模态的联合特征。
5.如权利要求1所述的面向不确定模态缺失的多模态情感分析方法,其特征在于,所述多模态情感分析网络还包括预训练模块和Transformer编码器模块;
所述预训练模块,使用所有完整的模态数据对多模态情感分析网络进行预训练;
所述Transformer编码器模块,在预训练的多模态情感分析网络的监督下,指导缺失模态的联合特征向完整模态的联合特征逼近,对缺失模态的联合特征进行编码,从而生成完整模态的联合特征。
6.如权利要求5所述的面向不确定模态缺失的多模态情感分析方法,其特征在于,所述多模态情感分析网络还包括Transformer解码器模块;
将所述Transformer编码器模块的输出作为Transformer解码器模块的输入,通过解码器损失,引导Transformer编码器学习不同模态之间的长期依赖关系。
7.如权利要求1所述的面向不确定模态缺失的多模态情感分析方法,其特征在于,所述多模态情感分析网络的总体训练目标由分类损失、预训练损失、Transformer编码器‑解码器损失、模态翻译损失加权求和得到。
8.面向不确定模态缺失的多模态情感分析系统,其特征在于,包括:数据获取单元,被配置为:获取带有不确定缺失的多模态数据,包括三种模态:文本、视觉和音频;
情感分析单元,被配置为:通过训练后的多模态情感分析网络处理所述三种模态数据,以生成并输出最终的情感分类;
其中,所述多模态情感分析网络包括模态翻译模块,所述模态翻译模块基于多头自注意力机制提取三种模态数据的单模态特征,并使用Transformer解码器对Transformer编码器进行监督,使视觉特征和音频特征逼近文本特征,从而将视觉特征和音频特征翻译成文本特征。
9.一种电子设备,其特征是,包括:
存储器,用于非暂时性存储计算机可读指令;以及
处理器,用于运行所述计算机可读指令,
其中,所述计算机可读指令被所述处理器运行时,执行上述权利要求1‑7任一项所述的方法。
10.一种存储介质,其特征是,非暂时性地存储计算机可读指令,其中,当所述非暂时性计算机可读指令由计算机执行时,执行权利要求1‑7任一项所述方法的指令。