欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022116236131
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于注意力网络的跨模态情感分析方法,其特征在于:所述跨模态情感分析方法包括以下步骤:步骤1:提取输入图片文本对应的图片特征,图片文本特征以及给定方面短语的方面特征;

步骤2:提取的图片文本特征进入模态更新层,每个所述模态更新层包括一个用于对齐表示空间的模态对齐模块和两个模态更新模块,每个模态在所述模态对齐模块内对齐,对齐后进入所述模态更新模块,通过利用不同模态的相关性逐步补充,最终获得交互后的图片特征和文本特征;

步骤3:将步骤2中所获得的交互后的图片特征和文本特征采用自注意力机制进行多模态融合,得到多模态特征;

步骤4:将步骤1中的图片特征和图片文本特征与步骤3中的融合后的多模态特征进行concat操作,进行情感预测。

2.根据权利要求书1所述的一种基于注意力网络的跨模态情感分析方法,其特征在于:所述步骤2具体包括如下步骤:

步骤2.1:模态对齐模块在模态交互前对齐不同模态的特征空间,得到多模态信息;

步骤2.2:对齐后的多模态信息进入模态更新模块,逐步增强每个模态,每个模态更新层包含两个模态更新模块 和 即文本更新模块和图片更新模块,在模态更新层的第一层采用了方面引导的注意力方法,具体过程如下:A (1)

其中 代表生成的目标模态的隐藏表征,I 代表方面特征向量,b 代表可学习参数,表示可变参数, 表示模态向量;

计算归一化注意权重:

使用注意力权重 对目标模态的特征向量进行加权平均,得到新的目标模态向量步骤2.3:为了捕捉不同模态间的双向交互,增强模态间的交互,模态更新模块引入了跨模态注意力机制以及自注意力机制,增强目标模态 的具体过程如下:其中,*代表要增强的目标模态,α则代表补充模态,如果目标模态是文本,那补充模态则是图片,公式如下:mul mul

其中,SA ,CMA 和Att分表代表多头自注意力机制、多头跨模态注意力机制和归一化函数以及加性注意力机制,使用加性注意力机制,具体表示如下:其中G,Wc,bc代表可学习参数,每个模态更新模块的权重都是通过加性注意力机制动态计算获得,从而达到两个模态间信息交互的目的,最终获得曾强后的多模态序列 和

3.根据权利要求书2所述的一种基于注意力网络的跨模态情感分析方法,其特征在于:所述步骤2.3中,为了学习多模态特征的深度抽象表征,采用GRU将交互注意力机制后的结果与当前层的输入结合起来,在第n层中首先使用跨模态注意力机制以及自注意力机制获得增强后的多模态序列,然后使用GRU获得新的文本和图片特征,具体过程如下:mul

其中:SA 代表多头自注意力机制, 为目标模态向量,n代表层数。

4.根据权利要求书1所述的一种基于注意力网络的跨模态情感分析方法,其特征在于:在所述步骤3,将步骤2中所获得的图片特征和文本特征采用自注意力机制进行多模态融合,具体表示如下:其中: 均表示多模态序列,FC是融合多模态函数。

5.根据权利要求书1所述的一种基于注意力网络的跨模态情感分析方法,其特征在于:步骤4具体为:将步骤1和步骤3中的文本特征、图片特征和融合后的多模态特征进行concat操作得到包含三种特征表示Emul作为输入数据:Emul=concat(Xmul,XL,XV)使用全连接网络对数据进行特征融合,并在最后一层使用softmax分类器进行情感预测,情感预测计算公式如下:P=softmax(WmE+bm)

其中Wm代表全连接层的权重,bm代表偏置,P代表情感预测。

6.根据权利要求书1所述的一种基于注意力网络的跨模态情感分析方法,其特征在于:步骤1中给定方面短语的方面特征的提取方法如下:给定方面短语A={A1,A2…An},首先使用词嵌入获得词嵌入向量aj,然后采用双向LSTM模型学习每个方面词嵌入向量的隐藏表示Vj:A

然后取所有隐藏表征Vj的平均值作为最终的方面特征向量V:

7.根据权利要求书1所述的一种基于注意力网络的跨模态情感分析方法,其特征在于:步骤1中采用VGG16网络提取图片特征,所述VGG16网络由13个卷积层、5个池化层和3个全连接层构成,具体的采用VGG16网络提取图片特征的具体过程如下:步骤11:输入:输入224*224*3的图像像素矩阵;

步骤12:卷积池化:输入的图像像素矩阵经过5轮卷积池化操作,每轮卷积核大小均为

3*3*w,w代表矩阵深度,卷积之后通过激活函数ReLU得到多个特征图,并且采用最大池化筛选局部特征,其中卷积计算公式如下:fj=R(Xi*Kj+b)

其中R代表ReLU激活函数,*代表卷积操作,b代表偏置项,Kj代表不同矩阵深度的卷积核;

步骤13:全连接:经过三次全连接得到1*1*1000的图像特征表示向量;

步骤14:最终通过预训练好的VGG16网络获取图片特征向量用XVp={XV1,XV2…XVn}表示。

8.根据权利要求书1所述的一种基于注意力网络的跨模态情感分析方法,其特征在于:步骤1中采用Bert预训练模型获取图片文本特征,具体过程如下:步骤21:文本预处理:针对网络用语中无意义的词汇、符号进行预处理,将不影响判断文本情感倾向的词汇作为停用词并删除;

步骤22:采用预训练好的Bert模型提取输入文本的词向量序列,输入文本,经过分割标注后,以词序列为输入,并经过Bert模型的词嵌入、段嵌入、位置嵌入,在堆栈中层层流动,最终生成文本特征的词向量,用XLp={XL1,XL2…XLn}表示。