欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202411434542X
申请人: 桂林电子科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于文本驱动跨模态融合和互信息估计的多模态情感分析模型构建方法,其特征在于,包括以下步骤:

步骤S1:使用各模态对应的提取工具提取待分析视频中的文本特征、音频特征和视频特征,构建具有上下文时序信息的特征提取模块;

步骤S2:基于跨模态注意力机制使其他模态特征能够感知文本情感信息,构建堆叠文本驱动跨模态融合模块;

步骤S3:构建对特征融合向量进行互信息上下界估计的互信息估计模块,保留任务相关信息并滤除与任务无关的噪声信息;

步骤S4:结合互信息估计模块与主任务损失函数构建损失函数模块;

步骤S5:构建将融合特征向量输入到激活函数进行情感极性判断的预测模块;

其中:

步骤S2中所述构建堆叠文本驱动跨模态融合模块,通过对文本、音频和视频三模态特征进行双重组合,形成三模态综合特征体系;其中:堆叠文本驱动跨模态融合模块包含文本驱动的文本融合模块、文本驱动的音频融合模块和文本驱动的视频融合模块三个子模块,三个子模块均由多层跨模态注意力方法组成,使模态间的情感线索得到有效共享;跨模态融合时,从辅助模态β到目标模态α的潜在适配可表示为跨模态注意力Yβ→α,其计算公式为:其中,β表示辅助模态,α表示目标模态,β、α∈{t,a,v},t为文本模态,a为音频模态,v为视频模态,CmAnβ→α(·)表示跨模态信息融合操作,Gα和Gβ分别为输入CmAn的辅助模态向量和目标模态向量;其中Qα=ZαWQ,α、Kβ=ZβWK,β和Vβ=ZβWV,β分别表示经过层归一化和映射后得到查询向量Query、键向量Key和值向量Value;WQ,α、WK,β和WV,β是查询向量、键向量和值向量的不同权重矩阵;dK表示键(Key)向量的维度,用于缩放点积;sofmtax(·)表示softmax激活函数;

步骤S3中所述互信息估计模块,采用一种高效的互信息神经估计策略,最大限度地保留各模态间与任务相关的关键信息,量化它们之间的依赖关系,使用如下的互信息下界估计表达式其中,F表示多模态融合特征向量,γ表示数据集中代表情感的真实标签,I(·)表示计算向量之间的互信息;θ表示变分参数,其所有可能取值空间为Θ,Tθ是由θ参数化的神经网络,逼近任意复杂的非线性函数;P(n)表示与n个样本相关的经验分布,表示在联合分布下对函数Tθ的期望,表示在F和Y的边缘分布和下对的期望;表示上确界提供一个潜在的下界估计,表示在参数空间Θ上对函数Tθ的最优值进行搜索。

2.根据权利要求1所述的基于文本驱动跨模态融合和互信息估计的多模态情感分析模型构建方法,其特征在于:所述文本驱动的文本融合模块、文本驱动的音频融合模块和文本驱动的视频融合模块共同建立了三个模态间的情感映射关系,使不同模态间的情感线索得到有效共享;通过这种跨模态的情感映射机制,将三种特征进行对齐和融合;该机制利用跨模态注意力方法,捕捉文本、音频和视频的情感线索,并在三者之间建立起高效的对应关系;三个子模块输出的计算式如下:其中,k=0,…,P-1是当前子模块的层数;一般情况下,对每一个第k层的子模块来说,都有三个不同模态信息的输入和一个当前模态信息的输出m∈{t,a,v},表示m1、m2两个模态已经提前融合的结果(m1、m2∈{t,a,v});CmAnβ→m1m2(·)表示由辅助模态β引导已融合的目标模态m1m2再次进行融合。

3.根据权利要求1所述的基于文本驱动跨模态融合和互信息估计的多模态情感分析模型构建方法,其特征在于:步骤S3中所述在文本信息和其他模态进行特征融合时,互信息估计模块使用CLUB互信息估计器对特征融合向量进行上界估计,互信息上界估计表达式的计算公式如下:其中,F表示多模态融合特征向量,x表示多模态输入的特征向量,包括文本、音频、视频模态的特征;η表示用于近似条件概率分布qη(F|x)的模型或函数的参数;N表示样本数量,i和j都是求和的索引,其中i遍历所有样本,j也遍历所有样本;当i=j时,表示得到正样本对;当i≠j时,表示得到负样本对;通过计算所有正负样本对的对数条件概率的差值,得到互信息的上界估计。

4.根据权利要求1所述的基于文本驱动跨模态融合和互信息估计的多模态情感分析模型构建方法,其特征在于:步骤S4中所述结合互信息估计模块与主任务损失函数构建损失函数模块,损失函数模块结合主任务损失函数与互信息估计表达式构建综合损失函数,综合损失函数的计算公式如下:其中,μ为调节两个任务损失的超参数,为整个模型总的目标损失函数,为主任务损失函数,为基于互信息估计模块的产生损失函数,的计算公式如下:其中,Y表示数据集中代表情感的真实标签,F是多模态融合特征向量,而x表示多模态输入的特征向量,包括文本、音频、视频模态的特征;ρ是调节两个目标重要性的超参数。