欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023104239044
申请人: 湖北工业大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于注意力机制的多模态情感分析方法,其特征在于,包括:从待分析视频数据中获取多模态情感分析数据集合,对所述多模态情感分析数据集合进行预处理,得到多模态数据向量;

将所述多模态数据向量输入基于注意力机制的双层双向GRU网络中进行特征提取,得到多模态特征向量;

将所述多模态特征向量输入至低秩张量融合模型中进行特征融合,获得融合后多模态特征;

确定所述融合后多模态特征的情感极性,输出情感分析结果;

其中,所述将所述多模态数据向量输入基于注意力机制的双层双向GRU网络中进行特征提取,得到多模态特征向量,包括:将文本模态数据向量依次输入至双层双向GRU网络、注意力模块和全连接层,得到文本特征向量;

将音频模态数据向量依次输入至双层双向GRU网络和注意力模块,得到音频特征向量;

将图像模态数据向量依次输入至双层双向GRU网络和注意力模块,得到图像特征向量;

其中,所述将文本模态数据向量依次输入至双层双向GRU网络、注意力模块和全连接层,得到文本特征向量,包括:通过堆叠GRU单元对所述文本模态数据向量进行更新和遗忘,得到文本正向隐藏层状态、文本负向隐藏层状态、文本正向输出和文本负向输出;

确定文本学习参数矩阵,将所述文本正向隐藏层状态、所述文本负向隐藏层状态、所述文本正向输出和所述文本负向输出输入至所述注意力模块的第一层注意力机制,通过激活函数得到第一层文本正向特征和第二层文本负向特征;

确定文本学习权重,将所述第一层文本正向特征和所述第二层文本负向特征输入至所述注意力模块的第二层注意力机制,得到第二层文本特征;

将所述第二层文本特征输入至所述全连接层和激活函数,得到所述文本特征向量。

2.根据权利要求1所述的基于注意力机制的多模态情感分析方法,其特征在于,所述从待分析视频数据中获取多模态情感分析数据集合,对所述多模态情感分析数据集合进行预处理,得到多模态数据向量,包括:基于文本将所述待分析视频数据划分为多个段落,将所述文本中的每一段文字与所述多个段落的音频和图像分别进行对应,得到文本数据集、音频数据集和图像数据集;

对所述文本数据集进行截断或填补至预设文本长度,得到文本序列,采用预设词嵌入将所述文本序列编码为单词向量序列,得到预处理文本数据集;

对所述音频数据集进行增强和降噪,采用预设声学分析框架提取音频特征,得到预处理音频数据集;

对所述图像数据集进行增强和降噪,采用预设AI开源库提取视觉特征,得到预处理图像数据集;

利用预设对齐标注软件分别对所述预处理文本数据集、预处理音频数据集和预处理图像数据集进行单词粒度对齐,得到文本模态数据向量、音频模态数据向量和图像模态数据向量。

3.根据权利要求1所述的基于注意力机制的多模态情感分析方法,其特征在于,所述将音频模态数据向量依次输入至双层双向GRU网络和注意力模块,得到音频特征向量,包括:通过堆叠GRU单元对所述音频模态数据向量进行更新和遗忘,得到音频正向隐藏层状态、音频负向隐藏层状态、音频正向输出和音频负向输出;

确定音频学习参数矩阵,将所述音频正向隐藏层状态、所述音频负向隐藏层状态、所述音频正向输出和所述音频负向输出输入至所述注意力模块的第一层注意力机制,通过激活函数得到第一层音频正向特征和第二层音频负向特征;

确定音频学习权重,将所述第一层音频正向特征和所述第二层音频负向特征输入至所述注意力模块的第二层注意力机制,得到所述音频特征向量。

4.根据权利要求1所述的基于注意力机制的多模态情感分析方法,其特征在于,所述将图像模态数据向量依次输入至双层双向GRU网络和注意力模块,得到图像特征向量,包括:通过堆叠GRU单元对所述图像模态数据向量进行更新和遗忘,得到图像正向隐藏层状态、图像负向隐藏层状态、图像正向输出和图像负向输出;

确定图像学习参数矩阵,将所述图像正向隐藏层状态、所述图像负向隐藏层状态、所述图像正向输出和所述图像负向输出输入至所述注意力模块的第一层注意力机制,通过激活函数得到第一层图像正向特征和第二层图像负向特征;

确定图像学习权重,将所述第一层图像正向特征和所述第二层图像负向特征输入至所述注意力模块的第二层注意力机制,得到所述图像特征向量。

5.根据权利要求1所述的基于注意力机制的多模态情感分析方法,其特征在于,所述将所述多模态特征向量输入至低秩张量融合模型中进行特征融合,获得融合后多模态特征,包括:分别在文本特征向量、音频特征向量和图像特征向量之后增加特征值为1的向量,得到文本特征、音频特征和图像特征;

将所述文本特征、所述音频特征和所述图像特征输入至所述低秩张量融合模型,得到多模态融合三维张量;

基于所述特征值为1的向量作为交点,由所述多模态融合三维张量构建三维笛卡尔积模型;

确定学习权重张量和偏移量,采用线性层函数计算所述三维笛卡尔积模型、所述学习权重张量和所述偏移量,得到线性层输出向量;

确定最小有效分解秩,基于所述最小有效分解秩对所述线性层输出向量进行分解,得到所述融合后多模态特征,所述融合后多模态特征包括文本模态权重张量、音频模态权重张量和图像模态权重张量。

6.根据权利要求1所述的基于注意力机制的多模态情感分析方法,其特征在于,所述确定所述融合后多模态特征的情感极性,输出情感分析结果,包括:在所述低秩张量融合模型依次连接三个全连接层和一个决策层,所述三个全连接层的大小依次降低;

将所述融合后多模态特征输入至所述三个全连接层,得到输出单值;

将所述输出单值输入所述决策层,映射至样本空间,若确定所述输出单值大于等于0,则输出情感极性为正值,否则为负值。

7.一种基于注意力机制的多模态情感分析系统,其特征在于,包括:输入模块,用于从待分析视频数据中获取多模态情感分析数据集合,对所述多模态情感分析数据集合进行预处理,得到多模态数据向量;

特征提取模块,用于将所述多模态数据向量输入基于注意力机制的双层双向GRU网络中进行特征提取,得到多模态特征向量;

特征融合模块,用于将所述多模态特征向量输入至低秩张量融合模型中进行特征融合,获得融合后多模态特征;

输出模块,用于确定所述融合后多模态特征的情感极性,输出情感分析结果;

其中,所述特征提取模块具体用于:

将文本模态数据向量依次输入至双层双向GRU网络、注意力模块和全连接层,得到文本特征向量;

将音频模态数据向量依次输入至双层双向GRU网络和注意力模块,得到音频特征向量;

将图像模态数据向量依次输入至双层双向GRU网络和注意力模块,得到图像特征向量;

其中,所述将文本模态数据向量依次输入至双层双向GRU网络、注意力模块和全连接层,得到文本特征向量,包括:通过堆叠GRU单元对所述文本模态数据向量进行更新和遗忘,得到文本正向隐藏层状态、文本负向隐藏层状态、文本正向输出和文本负向输出;

确定文本学习参数矩阵,将所述文本正向隐藏层状态、所述文本负向隐藏层状态、所述文本正向输出和所述文本负向输出输入至所述注意力模块的第一层注意力机制,通过激活函数得到第一层文本正向特征和第二层文本负向特征;

确定文本学习权重,将所述第一层文本正向特征和所述第二层文本负向特征输入至所述注意力模块的第二层注意力机制,得到第二层文本特征;

将所述第二层文本特征输入至所述全连接层和激活函数,得到所述文本特征向量。

8.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至6任一项所述基于注意力机制的多模态情感分析方法。