1.一种基于多模态特征融合的社交媒体情感分析方法,其特征在于,包括:获取待识别的图文数据;
从待识别的图文数据中提取文本特征;
从待识别的图文数据中提取图像特征;
将文本特征和图像特征进行跨模态融合,获取文本融合特征和图像融合特征;
根据文本融合特征和图像融合特征进行情感分类识别。
2.如权利要求1所述的一种基于多模态特征融合的社交媒体情感分析方法,其特征在于,通过降噪自编码器,从待识别的图文数据中提取文本特征。
3.如权利要求1所述的一种基于多模态特征融合的社交媒体情感分析方法,其特征在于,通过基于注意力的变分自动编码器,从待识别的图文数据中提取图像特征。
4.如权利要求3所述的一种基于多模态特征融合的社交媒体情感分析方法,其特征在于,基于注意力的变分自动编码器的损失函数为:L(φ,μ,a)=Eqφ(d|a)[logpμ(a|d)]‑βDKL(qφ(d|a)||pμ(d))。
5.如权利要求1所述的一种基于多模态特征融合的社交媒体情感分析方法,其特征在于,将文本特征和图像特征输入特征融合模块进行特征融合,具体为:特征融合模块分别以文本特征为主输入,图像特征为副输入,输出文本融合特征,以图像特征为主输入,以文本特征为副输入,输出图像融合特征。
6.如权利要求1所述的一种基于多模态特征融合的社交媒体情感分析方法,其特征在于,根据主输入和副输入计算输出融合特征的具体过程为:将主输入和副输入投影到同一个共享向量空间中;
通过注意力机制计算主输入和副输入间的相关性;
通过主输入与主输入和副输入间的相关性,获得基于注意力机制的副输入;
将主输入和基于注意力机制的副输入进行拼接,获得融合特征。
7.如权利要求1所述的一种基于多模态特征融合的社交媒体情感分析方法,其特征在于,将文本融合特征和图像融合特征经全连接层连接后由输出层输出至softmax分类器中进行情感分类识别。
8.一种基于多模态特征融合的社交媒体情感分析系统,其特征在于,包括:数据采集模块,用于获取待识别的图文数据;
文本特征提取模块,用于从待识别的图文数据中提取文本特征;
图像特征提取模块,用于从待识别的图文数据中提取图像特征;
特征融合模块,用于将文本特征和图像特征进行跨模态融合,获取文本融合特征和图像融合特征;
情感分类识别模块,用于根据文本融合特征和图像融合特征进行情感识别。
9.一种电子设备,其特征在于,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成权利要求1‑7任一项所述的一种基于多模态特征融合的社交媒体情感分析方法的步骤。
10.一种计算机可读存储介质,其特征在于,用于存储计算机指令,所述计算机指令被处理器执行时,完成权利要求1‑7任一项所述的一种基于多模态特征融合的社交媒体情感分析方法的步骤。