1.全局与局部特征嵌入及图文融合的情感分析方法,其特征在于,包括如下步骤:
(1)将整张图像输入到卷积神经网络模型中,进行图像全局特征的提取,得到表示图像全局信息的特征向量;
(2)利用目标检测数据集预训练目标检测模型,通过迁移学习,利用情感图像数据集再次训练目标检测模型,从而获得能检测出图像中携带情感的局部区域的情感对象检测模型,将整张图像输入情感对象检测模型,提取检测定位到情感对象的局部区域特征向量;
(3)将步骤(1)和步骤(2)得到的全局特征向量与局部特征向量进行拼接,然后将拼接后的联合情感特征输入到全连接层,并通过softmax分类器进行分类,得到图像的情感极性概率;
(4)利用词嵌入技术,将文本输入到词向量模型中,得到文本的词向量表示,并输入到双向长短期记忆网络中训练得到文本情感分类模型,将图像对应的描述文本输入到文本情感分类模型得到文本的情感极性概率;
(5)将步骤(3)得到的图像的情感极性概率与步骤(4)得到的文本的情感极性概率根据模型融合公式赋予不同的权重后相加,最终得到图文融合的整体情感极性。
2.根据权利要求1所述的全局与局部特征嵌入及图文融合的情感分析方法,其特征在于,所述的步骤(1)采用VGGNet-16框架提取全局图像特征。
3.根据权利要求1所述的全局与局部特征嵌入及图文融合的情感分析方法,其特征在于,所述的步骤(2)包括:(2.1)利用目标检测数据集预训练目标检测模型Faster-RCNN,获得训练后的模型参数;
(2.2)通过迁移学习的策略来克服目标检测数据集与图像情感数据集之间的差异,利用情感图像数据集再次训练目标检测模型,对其进行微调训练,从而获得能够检测图像中携带情感的目标对象的情感对象检测模型;
(2.3)将图像输入到情感对象检测模型,首先经过一系列卷积池化后得到特征图,再将特征图输入到RPN网络中,该网络用来提取情感局部区域的候选框,将RPN输出的候选框信息与之前卷积输出的特征图进行映射,得到定位的局部区域的情感特征,并将其输入到ROI层,得到固定大小的特征图,最后再经过两层全连接层,得到局部情感特征向量;假定检测到的某一局部区域特征向量为Li,则检测到的前N个局部区域可表示为特征向量集{L1 L2 L3····LN},其中N表示检测到局部区域的个数,LN表示第N个局部区域表示的特征向量。
4.根据权利要求1所述的全局与局部特征嵌入及图文融合的情感分析方法,其特征在于,所述的步骤(3)中将图像的全局特征G和包含情感对象的局部特征{L1 L2 L3····LN}两组特征进行拼接,得到一组更为丰富的情感特征向量U={G,L1,L2,L3…LN};将拼接后的联合情感特征U输入到全连接层,并通过softmax分类器进行分类,得到图像的情感极性概率。
5.根据权利要求1所述的全局与局部特征嵌入及图文融合的情感分析方法,其特征在于,所述的步骤(4)包括:(4.1)利用词嵌入技术Word2Vec工具将社交媒体的文本信息表示为包含语义信息的词向量特征,其模型结构首先通过神经网络训练出指定维度的词向量,再计算单词与单词之间的欧式距离从而表示出不同单词之间的相似性,最后将意思相近的词汇映射到向量空间中相似的位置;
(4.2)将步骤(4.1)中的词向量特征输入到双向LSTM网络中,两个反向的LSTM单元对文本序列进行从前往后以及从后往前的特征提取,连接两个方向最后一个LSTM单元的隐含层输出作为最终的文本特征表示,将其输入到全连接层,进行降维处理,全连接层采用Dropout技术防止过拟合。
(4.3)将全连接层输出的特征输入到sigmoid函数中进行情感分类,得到文本情感极性概率,sigmoid函数定义如下其中x是输入特征,sigmoid函数将输入的特征映射到0到1之间。
6.根据权利要求1所述的全局与局部特征嵌入及图文融合的情感分析方法,其特征在于,所述的步骤(5)中将步骤(3)中得到的图像情感极性概率与步骤(4)得到的文本的情感极性概率输入到模型融合公式,其融合公式如下:P=wP1+(1-w)P2 w∈(0,1)
其中P1为图像的情感极性概率,P2为文本的情感极性概率,w为融合权重,其中w根据样本数据的预测情感类别与真实情感类别的损失函数,采用梯度下降法自学习得到;P为图像与文本融合后的情感极性概率;若P≥0.5,则图文情感为积极的情感,若P<0.5,则表达为消极的情感。
7.全局与局部特征嵌入及图文融合的情感分析系统,其特征在于,包括:
全局特征提取模块,用于将整张图像输入到VGGNet-16卷积神经网络模型中,进行图像全局特征的提取,得到表示图像全局信息的特征向量;
局部特征提取模块,用于利用目标检测数据集预训练目标检测模型,通过迁移学习,利用情感图像数据集再次训练目标检测模型,从而获得能检测出图像中携带情感的局部区域的情感对象检测模型,将整张图像输入情感对象检测模型,提取检测定位到情感对象的局部区域特征向量;
图像情感分类模块,用于将得到的全局特征向量与局部特征向量进行拼接,然后将拼接后的联合情感特征输入到全连接层,并通过softmax分类器进行分类,得到图像的情感极性概率;
文本情感分类模块,用于利用词嵌入技术,将文本输入到词向量模型中,得到文本的词向量表示,并输入到双向长短期记忆网络中训练得到文本情感分类模型,将图像对应的描述文本输入到文本情感分类模型得到文本的情感极性概率;
以及,情感识别模块,用于将图像的情感极性概率和文本的情感极性概率根据模型融合公式赋予不同的权重后相加,最终得到图文融合的整体情感极性。
8.全局与局部特征嵌入及图文融合的情感分析系统,其特征在于,包括至少一台计算机设备,所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1-6任一项所述的全局与局部特征嵌入及图文融合的情感分析方法。