欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022109650599
申请人: 桂林电子科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于协同注意力融合的方面级多模态情感分析方法,其特征在于,包括如下步骤:

1)获得左文本上下文表示、右文本上下文表示、方面聚合表示以及图像局部表示:采用预训练BERT模型或者Glove词嵌入得到文本嵌入序列,再使用长短时记忆网络来学习文本嵌入序列的上下文依赖,以此来得到左文本上下文表示、右文本上下文表示以及方面表示,并对方面表示进行平均池化得到方面聚合表示;对于图像,采用ResNet网络得到图像的特征表示,并将其转换成图像局部表示;获得左文本上下文表示、右文本上下文表示、方面聚合表示以及图像局部表示包括如下步骤:

1.1)首先,采用预训练BERT模型或者Glove词嵌入得到文本嵌入序列,再使用长短时记忆网络来学习文本嵌入序列的上下文依赖,以此来得到左文本上下文表示、右文本上下文表示以及方面表示,并对方面表示进行平均池化得到方面聚合表示;

1.2)对于图像,采用ResNet模型抽取图像特征得到图像的特征表示,并把图像分为不同的区域,得到图像局部表示以便于方面进行细粒度的引导图像局部特征;

2)生成方面引导的全局文本特征表示和方面引导的全局图像特征表示:利用方面聚合表示引导的注意力机制来分别引导步骤1)得到的左文本上下文表示、右文本上下文表示,然后使用低秩线性池化来将方面聚合表示分别和方面聚合表示引导的左、右文本上下文表示进行交互,并将交互后的结果拼接来得到方面引导的全局文本特征表示;利用方面聚合表示引导的注意力机制来引导步骤1)得到的图像局部表示来得到方面引导的全局图像特征表示;

生成方面引导的全局文本特征表示和方面引导的全局图像特征表示包括如下步骤:

2.1)对于生成方面引导的全局文本特征表示:

①利用步骤1)中得到的左文本上下文表示与方面聚合表示的双线性交互关系,计算左文本上下文中每个隐状态的注意力权重,然后加权求和得到方面聚合表示引导的左文本上下文表示,采用同样的方法得到方面聚合表示引导的右文本上下文表示;

② 采用低秩双线性池化来分别学习方面聚合表示与方面聚合表示引导的左、右文本上下文表示的交互,并将得到的特征拼接,得到方面引导的全局文本特征表示,低秩双线性池化能够关注特征的两两交互,能够实现方面和左右上下文的有效关注;

2.2)对于方面引导的全局图像特征表示,利用步骤1)中得到的图像局部表示与方面聚合表示的双线性交互关系,计算图像的每个区域的注意力权重,然后加权求和得到方面引导的全局图像特征表示;

3)构建跨模态特征交互机制来同时生成融入视觉的局部文本特征表示和融入文本的局部视觉特征表示:通过多头自注意力来分别学习步骤1)得到的文本嵌入序列和图像局部表示,然后得到文本序列上下文特征和图像局部上下文特征,并使用文本引导的视觉上下文注意力机制得到文本引导的视觉上下文特征,然后通过门控机制将其和文本序列上下文特征融合来生成融入视觉的局部文本特征表示;同时,使用视觉引导的文本上下文注意力机制得到视觉引导的文本上下文特征,通过门控机制将其和图像局部上下文特征融合来生成融入文本的局部视觉特征表示;

4)构建门控的多模态融合机制:采用门控机制将步骤2)得到的方面引导的全局文本特征表示来过滤融合步骤2)得到的方面引导的全局图像特征表示,得到全局多模态融合表示;同时又将步骤3)得到的融入视觉的局部文本特征表示和融入文本的局部视觉特征表示进行融合,得到局部多模态融合表示;

5)得到情感极性预测结果:对步骤2)得到的全局文本特征表示、全局图像特征表示和步骤4)得到的全局多模态融合表示以及局部多模态融合表示拼接后输入到softmax函数得到情感分类的极性。

2.根据权利要求1所述的基于协同注意力融合的方面级多模态情感分析方法,其特征在于,所述步骤3)中的构建跨模态特征交互机制来同时生成融入视觉的局部文本特征表示和融入文本的局部视觉特征表示包括如下步骤:

3.1)通过多头自注意力来分别学习步骤1)中得到的文本嵌入序列和图像局部表示;

3.2)设计文本引导的视觉上下文注意力和视觉引导的文本上下文注意力来各自建模跨模态的语义关联对齐:

①融入视觉的局部文本特征表示;

首先将经过多头自注意力学习后的文本序列上下文特征中第j个词的向量和经过多头自注意力学习后的图像局部上下文特征中第i个区域向量,投影到c维公共空间,然后融合两者的特征,随后,将融合后的向量进行线性变换,依次计算文本序列上下文特征中的第j个词和其他图像局部上下文特征的注意力分数,通过softmax操作获得归一化的注意力分数,然后将注意力分数加权到每个图像局部特征区域并求和,从而得到第j个词引导的视觉上下文特征,由于不同的模态对情感贡献的程度不一样,因此,使用一个门控融合方式来聚合该词和该词引导的视觉上下文特征,以此来获得所有词引导的视觉上下文特征,将这些特征平均池化得到融入视觉的局部文本特征表示;

②融入文本的局部视觉特征表示:

首先将经过多头自注意力学习后的图像局部上下文特征中第i个区域向量和经过多头自注意力学习后的文本序列上下文特征中第j个词的向量,投影到c维公共空间,然后融合两者的特征,随后,将融合后的向量进行线性变换,依次计算图像局部上下文特征中的第i个视觉块和其他文本序列的注意力分数,通过softmax操作获得归一化的注意力分数,然后将注意力分数加权到每个文本序列并求和,从而得到第i个视觉块引导的文本上下文特征,由于不同的模态对情感贡献的程度不一样,因此,使用一个门控融合方式来聚合该视觉块和该视觉块引导的文本上下文特征,以此来获得所有视觉块引导的文本上下文特征,将这些特征平均池化得到融入文本的局部视觉特征表示。

3.根据权利要求1所述的基于协同注意力融合的方面级多模态情感分析方法,其特征在于,所述步骤4)中的构建门控的多模态融合机制包括如下步骤:

4.1)采用门控机制将步骤2)得到的方面引导的全局文本特征表示来过滤融合步骤2)得到的方面引导的全局图像特征;

4.2)采用双线性池化操作来捕捉全局文本特征表示和过滤后的方面引导的全局图像特征之间的交互来得到全局多模态融合表示;

4.3)同时又将步骤3)得到的融入视觉的局部文本特征表示和融入文本的局部视觉特征表示进行非线性融合,得到局部多模态融合表示。

4.根据权利要求1所述的基于协同注意力融合的方面级多模态情感分析方法,其特征在于,所述步骤5)中的得到方面词的情感极性预测结果:层次化地将步骤2)得到的全局文本特征表示、全局图像特征表示和步骤4)得到的全局多模态融合表示以及局部多模态融合表示拼接后输入到softmax函数得到方面词对应的情感极性预测结果。